💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Este artículo presenta el marco de trabajo "Ghost Annotator", el cual combina la predicción conforme con el filtrado colaborativo para analizar la variación de las etiquetas humanas y revelar que los modelos de lenguaje de gran tamaño exhiben una mayor confianza en las predicciones que divergen del consenso humano, exponiendo así sesgos demográficos estructurales arraigados en los datos de preentrenamiento.

Autores originales: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo decidir qué es "grosero" o "dañino" en una conversación. Le pides a un grupo de 100 humanos diferentes que lean un comentario específico y lo califiquen. Debido a que las personas tienen diferentes antecedentes, edades y culturas, no todos están de acuerdo. Algunos piensan que el comentario es divertido; otros piensan que es discurso de odio. Este desacuerdo se llama Variación de Etiquetas Humanas.

El artículo presenta una nueva herramienta llamada el "Anotador Fantasma" (Ghost Annotator) para determinar qué tan bien los modelos de IA (como los que impulsan los chatbots) comprenden estos desacuerdos humanos y dónde se equivocan.

Aquí está cómo funciona el artículo, explicado mediante analogías sencillas:

1. El Problema: El Robot contra la Multitud

Normalmente, cuando probamos una IA, preguntamos: "¿Obtuvo el robot la respuesta 'correcta'?". Pero en la moderación de contenido, a menudo no hay una única respuesta correcta. Si 50 personas dicen que un comentario es "levemente ofensivo" y 50 dicen que es "dañino", la IA se queda estancada.

Los investigadores querían saber:

¿Se confunde la IA cuando los humanos no están de acuerdo?
¿Tiene la IA su propia "personalidad" que hace que coincida con ciertos tipos de personas e ignore a otras?

2. La Herramienta: El "Fantasma" en la Máquina

Para resolver esto, el equipo creó un marco de trabajo utilizando un método estadístico llamado Predicción Conforme (Conformal Prediction). Piensa en esto como un "medidor de confianza".

La Predicción Fantasma: Imagina que la IA está tomando un examen. Normalmente, elige una respuesta que coincide con lo que los humanos eligieron. Pero a veces, la IA elige una respuesta que ningún humano eligió. Los investigadores llaman a esto una "Predicción Fantasma". Es como si la IA estuviera viendo un fantasma: una etiqueta que no existe en el mundo humano.
El Anotador Fantasma: Esta es la invención principal del artículo. En lugar de solo mirar las respuestas de la IA, convierten el comportamiento de la IA en una "huella digital" (un vector matemático). Llaman a esta huella digital el Anotador Fantasma. Representa la "opinión" única de la IA como si fuera un trabajador humano, aunque sea una máquina.

la 3. El Experimento: Comparando Huellas Digitales

Los investigadores tomaron cuatro modelos de IA diferentes (dos pequeños, dos grandes, de dos empresas distintas) y los probaron en cuatro conjuntos de datos diferentes de publicaciones de redes sociales (sobre discurso de odio, violencia y ofensividad).

Compararon la "Huella Digital Fantasma" de la IA contra las huellas digitales de anotadores humanos reales, agrupando a los humanos por demografía como edad, género y lugar de origen (por ejemplo, África Subsahariana, India, EE. UU.).

4. Los Hallazgos: Lo que los Fantasmas Revelaron

Hallazgo A: El "Extraño Confiado"

La Analogía: Imagina a un estudiante pequeño y nervioso que admite: "No estoy seguro de esta respuesta", cuando la clase está discutiendo. Ahora imagina a un estudiante mayor y muy seguro que dice: "Sé que la respuesta es X", incluso cuando toda la clase no está de acuerdo.
El Resultado: Los investigadores descubrieron que los modelos de IA más grandes (los estudiantes seguros) eran en realidad más confiados cuando daban respuestas con las que ningún humano estaba de acuerdo (Predicciones Fantasma). Estaban seguros de sus respuestas "fantasma", incluso cuando estaban completamente desincronizados con la opinión humana. Los modelos más pequeños eran menos confiados en estas situaciones extrañas.

Hallazgo B: El "Punto Ciego Demográfico"

La Analogía: Imagina a un grupo de jueces. Si le pides a un juez del Grupo A que califique una película, puede que coincida con la IA. Pero si le preguntas a un juez del Grupo B, puede que esté completamente en desacuerdo. El artículo encontró que la IA actúa como un juez que está consistentemente "desconectado" de un grupo específico de personas, sin importar cuántas personas de ese grupo haya en la sala.
El Resultado: Los modelos de IA mostraron un patrón consistente de desalineación demográfica. Específicamente, la "Huella Digital Fantasma" de la IA fue consistentemente la menos similar a los anotadores humanos de África Subsahariana (SSA).
El Giro: Esto sucedió a pesar de que el grupo de SSA era en realidad el grupo de anotadores humanos más grande en el estudio. La IA no los ignoró porque hubiera pocos de ellos; lo hizo porque tenía un sesgo profundo.
La Causa: Los investigadores creen que este sesgo proviene de los datos de pre-entrenamiento (la enorme cantidad de texto que la IA leyó antes de ser entrenada para la tarea específica). Es como si la IA hubiera aprendido su "visión del mundo" de una biblioteca que no tenía suficientes libros escritos por personas de África Subsahariana. Este sesgo es "estructural", lo que significa que está integrado en la base del modelo, no es solo un error en la prueba específica.

5. Por qué esto importa (Según el artículo)

El artículo argumenta que no podemos arreglar esto simplemente añadiendo etiquetas humanas más diversas a los datos de entrenamiento. Si la "base" (pre-entrenamiento) de la IA ya es sesgada, añadir unas pocas voces diversas al final no arreglará la perspectiva del "Anotador Fantasma".

El marco del Anotador Fantasma es una forma de realizar una "radiografía" a un modelo de IA para ver exactamente a qué grupos de personas está fallando en comprender, antes de dejarlo suelto en internet para moderar contenido.

En resumen: El artículo construyó una herramienta para ver la "personalidad" de los modelos de IA. Descubrieron que los modelos de IA grandes y confiados a menudo tienen un "punto ciego" para culturas específicas, y este punto ciego es tan profundo que proviene de los mismos datos que la IA aprendió para poder leer en primer lugar.

Resumen Técnico: El Marco de Trabajo Ghost Annotator

Planteamiento del Problema
La investigación actual en Procesamiento de Lenguaje Natural (PLN) y moderación de contenido se centra predominantemente en las métricas de rendimiento de los modelos, pasando por alto a menudo la estimación de la incertidumbre y los matices de la Variación de Etiquetas Humana (HLV, por sus siglas en inglés). La HLV se refiere a la divergencia en las anotaciones entre los evaluadores humanos, particularmente en lo que respecta a fenómenos subjetivos como el discurso de odio, la ofensividad y la toxicidad. Si bien los paradigmas recientes abogan por capturar estas diversas perspectivas para mejorar la equidad, persisten desafíos significativos: los hallazgos sobre la HLV se ven frecuentemente obstaculizados por desajustes entre los conjuntos de datos y los esquemas de anotación, y la creciente dependencia de los Modelos de Lenguaje de Gran Escala (LLM) para generar datos anotados ha desplazado el enfoque lejos de la incertidumbre. Además, se ha demostrado que los métodos existentes para evaluar a los LLM como anotadores no logran distinguir entre la HLV genuina y los errores de anotación, y los LLM suelen tener dificultades para replicar la diversidad de las opiniones humanas, exhibiendo a menudo sesgos hacia grupos demográficos específicos o una sobreidentificación de contenido ofensivo.

Metodología
Los autores presentan el Ghost Annotator, un marco diseñado para modelar el comportamiento de los LLM en relación con los anotadores humanos mediante Predicción Conforme (Conformal Prediction). La metodología procede a través de los siguientes pasos técnicos:

Predicción Conforme y Puntuaciones de No Conformidad (NCS): El marco utiliza la Predicción Conforme para generar estimaciones de incertidumbre calibradas. En lugar de una única puntuación agregada, el sistema computa NCS para interacciones individuales modelo–anotador–instancia. La NCS cuantifica qué tan "inusual" es la predicción de un modelo en relación con una distribución de calibración derivada de las anotaciones humanas.
Métrica de Predicción Fantasma (Ghost Prediction): Para ir más allá de las métricas tradicionales basadas en la precisión (que dependen de la verdad de campo agregada), los autores definen la Predicción Fantasma como la proporción de instancias donde un modelo predice una etiqueta que no está presente en ninguna de las anotaciones humanas para ese elemento específico. Esta métrica cuantifica la divergencia entre el modelo y el conjunto completo de las perspectivas humanas disponibles.
Representación del Anotador (Analogía de Filtrado Colaborativo): Inspirado en el Filtrado Colaborativo (CF) de los sistemas de recomendación, el marco representa tanto a los anotadores humanos como a los modelos como vectores tridimensionales. Estos vectores se derivan de los cuartiles de las distribuciones de la NCS:
- Anotadores Humanos: Representados por la distribución de los valores de la NCS obtenidos de todos los elementos que anotaron.
- Anotador Fantasma (Modelo): Representado por la distribución de los valores de la NCS computados específicamente en instancias donde la predicción del modelo difiere de todas las anotaciones humanas (Predicciones Fantasma).
Análisis de Alineación: Los autores computan la similitud de coseno entre el vector del Anotador Fantasma y los vectores de grupos sociodemográficos específicos de anotadores humanos. Esto permite perfilar con qué grupos humanos se alinea o diverge un modelo.

Configuración Experimental
El marco fue evaluado a través de cuatro conjuntos de datos de moderación de contenido: Attitudes (Discurso de Odio), CADE (Aceptabilidad), Disentangling (Ofensividad) y MHS (Violencia). Se probaron cuatro LLM, abarcando dos familias (Qwen y Llama) y dos escalas de tamaño (1.5B/1B y 7B/8B de parámetros). El conjunto de datos Disentangling se utilizó específicamente para el análisis de alineación demográfica (RQ2) debido a su representación equilibrada de rasgos sociodemográficos (género, edad y macroregión de origen).

Resultados Clave

Incertidumbre y HLV (RQ1): Existe una coherencia entre la incertidumbre del modelo y la HLV. A medida que aumenta el desacuerdo entre los anotadores humanos, la incertidumbre del modelo (medida por la NCS) aumenta de forma correspondiente. Sin embargo, surgió un hallazgo contraintuitivo respecto a las Predicciones Fantasma: los modelos más grandes exhibieron una mayor confianza (menor incertidumbre) al predecir etiquetas que ningún anotador humano seleccionó, en comparación con los modelos más pequeños. Esto sugiere que los modelos más grandes pueden codificar normas de la cultura mayoritaria más fuertes, lo que conduce a predicciones seguras pero divergentes en regiones donde las perspectivas minoritarias difieren.
Desalineación Demográfica (RQ2): El marco Ghost Annotator reveló un patrón robusto y consistente de desalineación demográfica. Independientemente de la arquitectura del modelo (Meta vs. Alibaba), la escala de parámetros (1B a 8B) o el conjunto de datos utilizado para perfilar al modelo, los modelos divergieron sistemáticamente de los anotadores en el grupo demográfico 18-30, Masculino, África Subsahariana (SSA). Por el contrario, mostraron la mayor alineación con el grupo 30-50, Femenino, Oceanía.
Tamaño del Grupo de Anotadores: La desalineación con el grupo SSA persistió a pesar de que este grupo era el más grande en términos de población demográfica en el conjunto de datos Disentangling ( $n=169$ ). Esto indica que simplemente aumentar el número de personas en un grupo diverso de anotadores no resuelve la desalineación, lo que sugiere que el sesgo no es resultado de la escasez de datos en la fase de anotación.

Significancia y Reivindicaciones
El artículo afirma que el marco Ghost Annotator proporciona un método estadísticamente garantizado (vía Predicción Conforme) para evaluar y posicionar a los LLM dentro del espacio de la diversidad de los anotadores humanos. Su principal significancia radica en identificar que la desalineación demográfica observada es probablemente un sesgo estructural arraigado en los corpus de pre-entrenamiento en lugar de un artefacto específico del ajuste fino o la arquitectura del modelo.

Los autores argumentan que, dado que diferentes familias y tamaños de modelos convergen en los mismos patrones de desalineación, el sesgo existe antes de la adaptación específica a la tarea. En consecuencia, el artículo sugiere que las intervenciones a nivel de conjunto de datos (como aumentar la diversidad de los anotadores) son insuficientes para resolver estos sesgos sin cambios correspondientes en la forma en que los modelos son pre-entrenados o adaptados. El marco sirve como una herramienta para descubrir estas divergencias estructurales antes de que los modelos sean desplegados, ofreciendo un camino hacia un uso más consciente de los LLM en la creación y el aumento de conjuntos de datos para la moderación de contenido.