From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

1. El Problema

En la Inteligencia Artificial y el Procesamiento del Lenguaje Natural (NLP), capturar perspectivas humanas subjetivas (como la toxicidad, la ofensa o el daño) es un desafío fundamental. A diferencia de las etiquetas factuales, no existe una "verdad objetiva"; estas percepciones dependen de la experiencia vivida, el contexto social y los sesgos individuales.

Actualmente, los flujos de trabajo de anotación dependen de promediar juicios humanos. Sin embargo, reclutar anotadores humanos representativos (especialmente para subgrupos demográficos específicos, interseccionales o difíciles de alcanzar) es costoso, lento y a menudo inviable. Como solución práctica, se ha recurido a los Modelos de Lenguaje Grandes (LLMs) para realizar "toma de perspectiva" (pedirles que estimen cómo un grupo juzgaría un ítem).

La premisa actual: Los LLMs se consideran un "respaldo pragmático" (fallback) o un compromiso de bajo costo, inherentemente inferiores a las perspectivas humanas reales.
La hipótesis del artículo: Esta visión es incorrecta. Bajo ciertas condiciones estructurales, los LLMs pueden ser estimadores estadísticamente superiores de las perspectivas grupales agregadas, incluso superando a los humanos del mismo grupo (in-group).

2. Metodología y Marco Teórico

Los autores reformulan la "toma de perspectiva" (PT) no como una medición de opinión individual, sino como un problema de estimación estadística de una cantidad latente: la media de juicio de un grupo ($f^*(x, g)$).

A. Marco de Descomposición de Error

Utilizan un modelo de sesgo-varianza-correlación con una "lente de dos perspectivas" para analizar el error de estimación:

1. Lente Ancha (Representación): ¿Qué tan bien el conocimiento del anotador refleja la distribución real de la población objetivo?
   • Humanos: Sufren de sesgo de muestreo local (su círculo social).
   • LLMs: Sufren de sesgo de datos de entrenamiento (cobertura amplia pero imperfecta).
2. Lente Clara (Procesamiento): ¿Cómo se traduce esa representación interna en un juicio numérico?
   • Humanos: Distorsiones cognitivas, proyección de identidad y normas sociales.
   • LLMs: Distorsiones de alineación y seguridad, pero más estables y modificables.
3. Acoplamiento (Coupling): En humanos, la identidad social suele vincular la representación y el procesamiento, creando un error super-aditivo (ambos sesgos se refuerzan en la misma dirección). En LLMs, estas etapas son mecánicamente distintas, lo que puede debilitar el acoplamiento.

La calidad del estimador se mide mediante el Error Cuadrático Medio (MSE), descompuesto en:
$$MSE = \text{Sesgo}^2 + \text{Correlación} \times \text{Varianza} + \frac{1-\text{Correlación}}{k} \times \text{Varianza}$$
Donde $k$ es el presupuesto de anotación (número de anotadores).

B. Experimentos

• Datos: Utilizaron dos conjuntos de datos:
  1. Toxicity Detection: 120 comentarios con anotaciones directas y de perspectiva de humanos (género: masculino, femenino, no binario).
  2. DICES (Seguridad Conversacional): Más de 100 juicios directos por ejemplo a través de múltiples ejes demográficos.
• Protocolos: Compararon anotación directa humana, toma de perspectiva humana (in-group y out-group) y toma de perspectiva con LLMs (varias familias: GPT, Qwen, Gemma, DeepSeek).
• Evaluación: Simulación de presupuestos de anotación ($k=1$ a $10$) mediante bootstrapping para calcular MSE, sesgo y varianza.

3. Contribuciones Clave

1. Formalización de la PT como Estimación: Transforman el debate cualitativo sobre "autenticidad" en un problema cuantitativo de eficiencia de estimación.
2. Marco de Sesgo-Varianza-Correlación: Introducen la hipótesis de acoplamiento para explicar por qué los humanos fallan sistemáticamente en tareas de perspectiva fuera de su grupo (out-group), mientras que los LLMs mantienen estabilidad.
3. Evidencia Empírica de Superioridad: Demuestran que los LLMs superan a los humanos (incluidos los del mismo grupo) en la predicción de juicios grupales agregados, especialmente en presupuestos bajos.
4. La Paradoja del Razonamiento: Descubren que activar el "razonamiento" (Chain-of-Thought) en LLMs puede degradar el rendimiento en la toma de perspectiva.
5. Guías de Ingeniería: Proporcionan criterios claros sobre cuándo usar LLMs vs. humanos y cómo configurar los prompts.

4. Resultados Principales

A. Regímenes de Presupuesto (Hipótesis H1)

• Presupuesto Bajo ($k=1$): Los LLMs superan consistentemente a un solo anotador humano.
  • Razón: Los humanos tienen una varianza alta ($V_H$) debido a diferencias individuales, estado de ánimo, etc. Los LLMs son relativamente deterministas bajo un prompt fijo ($V_L \ll V_H$).
  • Hallazgo: Una sola estimación de LLM es comparable a agregar 3-5 etiquetas directas humanas.
• Presupuesto Alto: A medida que aumenta $k$, el rendimiento humano se estanca debido a un "piso de correlación" (los humanos comparten normas culturales, por lo que sus errores están correlacionados). Los LLMs también muestran estancamiento, pero su error base es menor en muchos casos.

B. Acoplamiento y Estabilidad (Hipótesis H2)

• Perspectiva Out-Group: Cuando los humanos intentan juzgar a un grupo diferente (ej. hombres juzgando a mujeres), el error aumenta drásticamente debido al acoplamiento positivo entre representación y procesamiento (sesgo super-aditivo).
• Estabilidad de LLMs: Los LLMs, al carecer de identidad social propia, no sufren este acoplamiento. Su error permanece estable independientemente del grupo objetivo, haciéndolos robustos cuando reclutar humanos del grupo es imposible.

C. Límites de Representación (Hipótesis H3)

• Los LLMs fallan cuando los grupos objetivo son muy específicos o de baja prevalencia (ej. "mujeres negras con educación universitaria" o identidades no binarias).
• En estos casos, la falta de datos de entrenamiento o la presencia de estereotipos aumenta el sesgo de representación ($b_{repr}$), superando la ventaja de la baja varianza. Aquí, los humanos del grupo (in-group) siguen siendo superiores.

D. La Paradoja del Razonamiento

• Contraintuitivamente, activar modos de razonamiento (CoT) en LLMs a menudo aumenta el error.
• Mecanismo: El razonamiento induce un desplazamiento de criterios (criterion drift). El modelo deja de estimar la tasa empírica del grupo ("¿qué porcentaje de este grupo lo encontraría tóxico?") y comienza a aplicar un estándar de clasificación basado en reglas ("¿es esto objetivamente tóxico según mis directrices de seguridad?"). Esto introduce un sesgo sistemático que anula las ventajas estructurales del LLM.

5. Significado e Implicaciones

El artículo propone un cambio de paradigma en el uso de LLMs en NLP subjetivo:

1. De "Respaldo" a "Primera Línea": Los LLMs no deben verse solo como un sustituto barato cuando faltan datos humanos. En regímenes de bajo presupuesto, para grupos heterogéneos o cuando la recolección humana es inviable, los LLMs son la mejor opción estadística para estimar perspectivas agregadas.
2. Ingeniería Consciente de la Estimación: La calidad de la anotación no es fija; se puede ingeniar.
   • Para reducir el error, se debe seleccionar el modelo adecuado (afecta la lente ancha) y ajustar el prompt (afecta la lente clara).
   • Se debe evitar el razonamiento explícito si el objetivo es la estimación de promedios grupales.
3. Límites Éticos y Prácticos:
   • Los LLMs no reemplazan la experiencia vivida ni la legitimidad procedimental en contextos de alto riesgo o normativos.
   • Para grupos minoritarios, interseccionales o emergentes, la validación humana sigue siendo esencial.
   • Se recomienda un enfoque híbrido: usar LLMs para la estimación agregada a escala y reservar a los humanos para auditorías, casos de baja prevalencia y validación de legitimidad.

Conclusión Final:
La superioridad de los LLMs no proviene de tener "experiencia vivida", sino de propiedades estructurales como la baja varianza y la falta de acoplamiento entre representación y procesamiento. Al tratar la toma de perspectiva como un problema de estimación estadística, podemos definir regímenes precisos donde los LLMs son herramientas superiores para entender las perspectivas colectivas humanas, desplazándolos de ser un simple compromiso a ser una herramienta principal en la anotación de NLP.