Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale

Resumen Técnico: Creación del Conjunto de Datos de Subjetividad Estonio

Planteamiento del Problema
El análisis de la subjetividad es una tarea fundamental en el Procesamiento del Lenguaje Natural (PLN) para comprender las opiniones, actitudes y perspectivas humanas. Aunque los conjuntos de datos existentes suelen depender de la clasificación binaria (objetivo vs. subjetivo) o del análisis a nivel de oración, la percepción humana de la subjetividad es inherentemente gradual y existe en un continuo. Además, existe una falta de recursos para lenguas de bajos recursos; específicamente, no existía ningún conjunto de datos de subjetividad para el estonio antes de este trabajo. El desafío radica en crear un conjunto de datos fiable que capture el matiz de la subjetividad en una escala continua, abordando al mismo tiempo la variabilidad inherente en la anotación humana y explorando la viabilidad de automatizar este proceso utilizando Modelos de Lenguaje de Gran Escala (LLM).

Metodología
Los autores construyeron el Conjunto de Datos de Subjetividad Estonio, que comprende 1.000 documentos calificados en una escala continua de 0 (totalmente objetivo) a 100 (totalmente subjetivo).

• Recopilación de Datos: El conjunto de datos incluye 300 textos periodísticos (150 artículos de noticias, 150 artículos de opinión) y 700 textos web seleccionados aleatoriamente del Corpus Nacional Estonio de 2021. Los textos se limitaron a entre 100 y 6.000 caracteres para asegurar un análisis significativo manteniendo el enfoque del anotador. El corpus cubre diversos géneros, incluyendo publicidad, redes sociales, textos legales y literatura.
• Protocolo de Anotación:
  • Estudio Piloto: Un estudio preliminar con 60 textos validó la escala continua y la selección de fuentes (que van desde la radiodifusión pública neutral hasta medios alternativos de opinión).
  • Anotación Principal: Tres anotadores (A1, A2, A3) calificaron el conjunto de datos completo de 1.000 textos utilizando una escala deslizante en un entorno de encuesta. También proporcionaron calificaciones de confianza ("nada seguro" a "totalmente seguro").
  • Re-anotación: Para investigar el alto desacuerdo entre anotadores, un subconjunto de 250 textos (seleccionados por divergencias extremas en las puntuaciones) fue re-anotado por dos de los anotadores originales tras un intervalo de cuatro meses.
  • Cuarto Anotador: Se reclutó a un cuarto anotador (A4), que participó en el piloto, para anotar el conjunto de datos completo con el fin de mejorar la fiabilidad de la agregación de puntuaciones.
• Experimento con LLM: Los autores utilizaron GPT-5 para anotar todo el conjunto de datos de 1.000 textos. Se le pidió al modelo que asignara una puntuación (0–100) y proporcionara una justificación. Para evaluar la consistencia, el conjunto de datos se procesó en tres lotes separados y las puntuaciones se promediaron.

Contribuciones Clave

1. Primer Conjunto de Datos de Subjetividad en Estonio: La creación de un conjunto de datos de subjetividad a nivel de documento para el estonio, anotado en una escala continua de 0–100 en lugar de una categoría binaria.
2. Análisis de la Variabilidad de la Anotación: Un examen detallado del acuerdo entre anotadores, revelando que, si bien las correlaciones son moderadas, son estadísticamente significativas. El estudio identifica que la longitud del texto y el género influyen en la consistencia de la anotación de manera diferente.
3. Efectos Contextuales: El artículo documenta la influencia del contexto de la anotación (la secuencia de textos presentados) en la calificación humana, señalando que los anotadores pueden ajustar inconscientemente sus escalas internas basándose en los textos precedentes.
4. Comparación Humano-LLM: Una comparación empírica entre las anotaciones humanas y los resultados de GPT-5, destacando divergencias sistemáticas específicas en cómo los humanos y los modelos interpretan las claves de subjetividad.

Resultados

• Acuerdo entre Anotadores: Las correlaciones iniciales entre los tres anotadores principales fueron moderadas (el coeficiente de Pearson r osciló entre 0,525 y 0,627). La re-anotación del subconjunto de alto desacuerdo mejoró el acuerdo entre los dos participantes que re-anotaron a r = 0,678. El cuarto anotador mostró correlaciones consistentes (0,627–0,675) con el grupo inicial.
• Factores que Influyen en las Puntuaciones:
  • Longitud del Texto: Los textos más largos fueron generalmente calificados como más subjetivos, aunque esta correlación varió significamente según el género (por ejemplo, fuerte en textos legales, insignificante en noticias).
  • Contexto: Los anotadores informaron que calificar una serie de textos subjetivos los hacía más sensibles a la objetividad en los textos posteriores, lo que sugiere efectos de secuencia.
  • Confianza: Las calificaciones de confianza de los anotadores no se correlacionaron fuertemente con el grado de desacuerdo entre los anotadores.
• Desempeño del LLM: GPT-5 demostró una alta consistencia interna a través de tres ejecuciones (Pearson's r ≈ 0,98). Sin embargo, al compararlo con los humanos, el modelo mostró patrones distintos:
  • Rango de Puntuación: GPT-5 rara vez asignó puntuaciones superiores a 98, mientras que los humanos utilizaron todo el rango de 0–100.
  • Citas: GPT-5 tendió a calificar los textos que contienen citas directas (comunes en las noticias) como más subjetivos que los humanos, probablemente interpretando el contenido citado como parte de la subjetividad del texto en lugar de como un hecho reportado.
  • Tono vs. Contenido: Los humanos calificaron los textos con lenguaje coloquial, jerga y emoticonos (por ejemplo, publicaciones de foros) como altamente subjetivos. GPT-5 se centró más en el contenido fáctico, asignando puntuaciones de subjetividad más bajas a estos textos.

Significancia y Reivindicaciones
El artículo afirma que el conjunto de datos creado es un recurso válido y útil para la investigación lingüística y el desarrollo de sistemas automáticos de detección de subjetividad. Los autores sostienen que:

• Los anotadores humanos pueden utilizar consistentemente una escala numérica continua para la subjetividad, a pesar del desacuerdo moderado entre anotadores.
• La calificación de la subjetividad automática basada en LLM es viable y produce puntuaciones plausibles que se correlacionan moderadamente con las calificaciones humanas.
• Sin embargo, los LLM no son una alternativa intercambiable a la anotación humana. El estudio concluye que los LLM dependen de claves diferentes (por ejemplo, priorizando el contenido sobre el tono) en comparación con los humanos. Por lo tanto, aunque los LLM pueden complementar los esfuerzos humanos en aplicaciones que requieren velocidad y automatización, aún no pueden reemplazar a los anotadores humanos en tareas que requieren una comprensión matizada y humana de la subjetividad, particularmente en la investigación lingüística o interpretativa.

Los autores enfatizan que el trabajo futuro debería centrarse en expandir el conjunto de datos con anotaciones humanas adicionales para comprender mejor los efectos del contexto y en refinar la ingeniería de prompts para reducir las discrepancias entre humanos y LLM.