Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection

Resumen Técnico: ¿Siguen siendo necesarios los humanos en el bucle? Comparación de anotación humana y por LLM en Aprendizaje Activo para la Detección de Hostilidad

1. Problema y Contexto

La anotación de datos sigue siendo un cuello de botella crítico para el aprendizaje supervisado en PLN. Aunque los Modelos de Lenguaje Grande (LLM) instruidos pueden etiquetar miles de instancias a un costo negligible, surgen dos preguntas fundamentales para el Aprendizaje Activo (AL):

1. ¿Pueden las etiquetas de los LLM reemplazar a las humanas dentro del bucle de AL?
2. ¿Sigue siendo necesario el AL cuando es posible etiquetar corpus completos de una sola vez con LLMs?

El estudio se centra en una tarea de alta complejidad: la detección de hostilidad anti-inmigrante en comentarios de TikTok alemanes. El desafío radica en diferenciar entre la hostilidad dirigida a grupos de inmigrantes y la crítica legítima a políticas de inmigración, una distinción culturalmente específica donde la fuente de anotación (humana vs. IA) podría influir significativamente en el comportamiento del clasificador.

2. Metodología

A. Recolección y Preprocesamiento de Datos

• Corpus: Se recolectaron 467,660 comentarios públicos de las cuentas oficiales de seis partidos políticos alemanes (enero 2024 - septiembre 2025).
• Filtrado: Tras eliminar duplicados, contenido no informativo y no germano, se obtuvo un corpus de 277,902 comentarios.
• Construcción del Pool de Etiquetado: Se utilizó un pipeline de dos etapas con LLMs:
  1. Prefiltrado de Tópicos: Llama-3.3-70B filtró los comentarios relevantes sobre inmigración, reduciendo el corpus a 25,974 instancias.
  2. Etiquetado: GPT-5.2 etiquetó estas instancias como "ANTI-IMMIGRANT" o "NOT ANTI-IMMIGRANT".

B. Estudio de Anotación Humana

• Se reclutaron 6 anotadores nativos o altamente proficientes en alemán vía Prolific.
• Esquema de Etiquetado: Se utilizó un marco de dos preguntas secuenciales para derivar la etiqueta final:
  • Q1: ¿El comentario se refiere a inmigrantes/políticas de inmigración?
  • Q2: ¿Estos grupos son retratados negativamente (hostilidad, estereotipos, retórica de deportación)?
  • Etiqueta Final: ANTI-IMMIGRANT solo si Q1=SI y Q2=SI.
• Muestra: De las 25,974 instancias prefiltradas, se seleccionaron 5,000 para el estudio humano (3,800 para entrenamiento, 1,200 para evaluación de oro).

C. Diseño Experimental
Se compararon 7 condiciones experimentales variando tres ejes:

1. Fuente de Anotación: Humana vs. LLM.
2. Estrategia de Muestreo: Aprendizaje Activo (Entropía/BALD) vs. Aleatorio vs. Pool Completo.
3. Volumin de Etiquetas: Desde 530 instancias (AL) hasta 25,974 (Pool completo).

Se evaluaron 4 codificadores transformer (german-bert, ModernGBERT, gbert-base, xlm-r-base) sobre 10 semillas aleatorias.

D. Análisis de Costos

• Humano: ~$0.083 por etiqueta (Total estudio: $416).
• LLM: ~$0.002 por etiqueta (Total pipeline: ~$43.30).

3. Contribuciones Clave

1. Nuevo Dataset: Lanzamiento de un dataset de 277,902 comentarios políticos alemanes de TikTok, con 25,974 etiquetados por LLM y 5,000 por humanos.
2. Comparación Rigurosa: Primera evaluación que compara directamente etiquetas humanas y de LLM bajo condiciones de AL, muestreo aleatorio y pool completo, analizando no solo el rendimiento agregado sino la estructura de errores.
3. Análisis de la Compensación Escala-Calidad: Demostración de que el volumen masivo de datos de LLM puede compensar la calidad inferior de las etiquetas en métricas agregadas, pero con perfiles de error sistemáticamente diferentes.

4. Resultados Principales

A. Rendimiento y Costo (RQ1)

• Costo-Eficiencia: Un clasificador entrenado con 25,974 etiquetas de LLM (costo: $43) logró un F1-Macro comparable al entrenado con 3,800 etiquetas humanas (costo: $316).
• Aprendizaje Activo (AL): El AL con etiquetas humanas ofreció una ventaja mínima sobre el muestreo aleatorio en este pool pre-enriquecido. Además, a costo equivalente, el AL humano (530 etiquetas) tuvo un rendimiento inferior al del LLM a escala (25k etiquetas).
• Conclusión: El "premium" de costo del AL humano no se justifica frente a la anotación masiva de LLM en términos de métricas agregadas.

B. Estructura de Errores y Perfiles de Confianza (RQ2)

• Sesgo Sistemático: Aunque el F1-Macro es similar, los clasificadores entrenados con LLM sobre-estiman la clase positiva (hostilidad) en comparación con el estándar de oro humano.
  • Ratio FP/FN: Los modelos humanos tienen un equilibrio más cercano (ej. 124 FP / 87 FN), mientras que los modelos LLM-26K tienen una fuerte asimetría (243 FP / 21 FN).
• Confianza en Errores: Los errores de los modelos entrenados con LLM se realizan con mayor confianza (probabilidades más altas). Esto es peligroso en moderación de contenido, ya que los errores no serían priorizados para revisión humana si se usa umbral de confianza.

C. Divergencia en el Espacio Discursivo (RQ3)

• La discrepancia entre humanos y LLM se concentra en temas donde la línea entre "hostilidad" y "crítica política" es difusa (ej. control fronterizo, competencia económica).
• Mecanismo de Divergencia:
  • Humanos: Siguen estrictamente la lógica de las dos preguntas. Si la crítica es hacia una política (Q1=SI) pero no hay ataque directo al grupo (Q2=NO), etiquetan como "NO ANTI-IMMIGRANT".
  • LLM: Tienden a interpretar el vocabulario adjunto a políticas con marco negativo como suficiente evidencia de hostilidad grupal, fusionando crítica política con odio.
  • Ejemplo: Comentarios sobre "quién abrió las fronteras" son vistos por humanos como crítica política, pero por LLM como hostilidad.

5. Significado y Conclusiones

• Viabilidad de LLM a Escala: Para proyectos con presupuestos limitados, la anotación masiva con LLM es una alternativa viable y extremadamente rentable que supera al AL humano en términos de rendimiento agregado por dólar.
• La Importancia del Perfil de Error: La elección entre humanos y LLM no debe basarse únicamente en el F1-Macro. Si la aplicación requiere minimizar falsos positivos (ej. no censurar críticas políticas legítimas), las etiquetas humanas (o un umbral de confianza muy alto en modelos LLM) son esenciales.
• Reevaluación del Aprendizaje Activo: En pools de datos pre-enriquecidos (donde ya se sabe que el contenido es relevante), el AL aporta poco valor sobre el muestreo aleatorio. La inversión debería dirigirse a la construcción del pool y no a la sofisticación de las funciones de adquisición.
• Ética: El uso de LLM reduce la exposición de humanos a contenido dañino, mitigando riesgos psicológicos para los moderadores, aunque introduce nuevos desafíos en la definición operativa de "daño" o "hostilidad".

En resumen: El estudio concluye que, si bien los LLM pueden reemplazar a los humanos en términos de costo y rendimiento agregado, la naturaleza de los errores cambia. La decisión final debe guiarse por el perfil de error aceptable para la aplicación específica, especialmente en dominios donde la distinción entre discurso político y odio es sutil.