Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

1. El Problema: La Ilusión de la Verdad Única en Tareas Subjetivas

El uso de Grandes Modelos de Lenguaje (LLM) para la anotación de textos en ciencias sociales computacionales (CSS) ha crecido rápidamente debido a su capacidad para reducir costos. Sin embargo, existen dos limitaciones críticas abordadas en este trabajo:

1. Sesgo y Posicionalidad: Los LLM no reflejan todas las perspectivas humanas por igual. Sus salidas a menudo codizan sesgos específicos o estereotipos, fallando sistemáticamente al representar ciertos grupos demográficos (por ejemplo, personas mayores o minorías raciales).
2. El Fallo de la "Verdad Única" (Ground Truth): Los métodos existentes de corrección de errores (como la Inferencia Potenciada por Predicción o PPI) asumen que existe una única "verdad" oculta que el LLM intenta aproximar. En tareas subjetivas (como calificar la ofensividad o la cortesía), el desacuerdo entre anotadores no es "ruido" a eliminar, sino una señal valiosa que refleja diferencias legítimas en la percepción humana.
   • El problema central: Colapsar el desacuerdo en una etiqueta mayoritaria o intentar forzar al LLM a simular una perspectiva mediante prompting de "persona" (persona prompting) elimina la variación demográfica real y puede llevar a inferencias estadísticas inválidas, especialmente para grupos subrepresentados.

2. Metodología: Inferencia Impulsada por Perspectiva (PDI)

Los autores proponen PERSPECTIVE-DRIVEN INFERENCE (PDI), un marco que trata la distribución de anotaciones a través de grupos demográficos como el estimando de interés (un vector), en lugar de un único escalar.

Componentes Clave del Método:

• Definición del Estimando: En lugar de estimar un promedio global, el objetivo es estimar un vector $\theta^* = (\theta^*_{g1}, ..., \theta^*_{gK})$, donde cada elemento es la media de anotaciones esperada dentro de un grupo demográfico específico $g_k$ (ej. edad, género, raza).
• Muestreo Adaptativo (El Núcleo de PDI):
  • Se utiliza un presupuesto limitado de anotaciones humanas ($n_{human} \ll n$).
  • Fase de "Burn-in": Se recogen anotaciones humanas iniciales de forma uniforme para obtener datos de entrenamiento.
  • Entrenamiento del Predictor de Error: Se entrena un modelo (un árbol de regresión por impulso o XGBoost) para predecir el error cuadrático del LLM $(\hat{H}_i - H_i)^2$ basándose únicamente en las características demográficas del anotador y el texto.
  • Muestreo Activo: En iteraciones posteriores, la probabilidad de seleccionar un texto para anotación humana es proporcional al error predicho del LLM para ese grupo demográfico. Esto significa que el sistema sobremuestrea activamente a los grupos donde el LLM es menos preciso (ej. personas mayores de 50 años).
• Estimación y Corrección:
  • Se utiliza un estimador ponderado por probabilidad inversa (IPW) para corregir el sesgo introducido por el muestreo adaptativo.
  • Se construyen intervalos de confianza válidos mediante bootstrapping, garantizando que las inferencias sean estadísticamente robustas incluso con muestreo no uniforme.

3. Contribuciones Clave

1. Marco Formal: Formalizan la inferencia de corpus en tareas subjetivas como la estimación de un vector de medias grupales, extendiendo los métodos de corrección PPI a escenarios donde no existe una única verdad.
2. Estrategia de Muestreo Adaptativo: Desarrollan un algoritmo que concentra el presupuesto humano en los grupos demográficos donde los LLM fallan más, mejorando la precisión para perspectivas subrepresentadas sin sacrificar la cobertura global.
3. Evaluación Empírica Rigurosa: Demuestran que el enfoque de persona prompting (instruir al LLM para que actúe como un grupo demográfico) es a menudo ineficaz, inconsistente y puede empeorar los resultados, mientras que PDI ofrece mejoras significativas.

4. Resultados Experimentales

Los autores evaluaron PDI en tres conjuntos de datos: calificaciones de cortesía, ofensividad (datos reales de POPQUORN) y anotaciones binarias sintéticas. Se probaron 8 modelos LLM diferentes (GPT-5.2, Claude, Gemini, Llama, Mistral).

• Rendimiento en Grupos Difíciles (Edad 50+):
  • En la tarea de ofensividad, los métodos solo con LLM fallaron estrepitosamente para el grupo de edad 50+, con una cobertura de intervalos de confianza cercana al 0% y errores absolutos (Delta) superiores al 24%.
  • PDI logró mantener una cobertura del 95% y redujo el error absoluto para este grupo a 5.24%, superando tanto a los LLM puros como al muestreo uniforme (PPI).
• Eficiencia del Presupuesto:
  • PDI asignó automáticamente un 33% más de anotaciones humanas al grupo de edad 50+ en comparación con el muestreo uniforme, demostrando que el predictor de error identifica correctamente dónde se necesita intervención humana.
  • En datos sintéticos, PDI superó al muestreo uniforme cuando el presupuesto humano era limitado (≥20%) y existía una gran disparidad en el rendimiento del LLM entre grupos.
• Fallo del Persona Prompting:
  • La estrategia de pedir al LLM que "actúe" como un grupo demográfico (persona prompting) resultó ser la estrategia de mayor varianza y, a menudo, la peor. En muchos casos, desplazó las predicciones sistemáticamente en la dirección incorrecta, fallando precisamente para los grupos que pretendía representar.

5. Significado e Implicaciones

• Cambio de Paradigma en la Evaluación de LLM: El trabajo demuestra que corregir el sesgo de los LLM a nivel agregado no es suficiente. Para inferencias válidas en ciencias sociales, es crucial identificar qué perspectivas específicas falla el modelo y dirigir el esfuerzo humano hacia allí.
• Valididad Estadística: Proporciona un método riguroso para realizar inferencias en corpus donde la "verdad" es plural. Esto es vital para estudios que analizan polarización, sesgos o diferencias culturales en el lenguaje.
• Aplicabilidad Amplia: El marco es agnóstico a la tarea y puede aplicarse a escenarios de alto riesgo como:
  • RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana): Donde las preferencias de los anotadores definen el entrenamiento del modelo.
  • Evaluación LLM-as-Judge: Donde un solo modelo juzga salidas, ignorando la diversidad de criterios humanos.
  • Simulaciones de Encuestas: Donde se intenta predecir la distribución de opiniones públicas.
• Consideraciones Éticas: Los autores advierten que, aunque el método mejora la precisión, concentra el trabajo de anotación en grupos marginados (que ya son difíciles de modelar). Esto requiere compensación justa y consentimiento informado para los participantes humanos, evitando la explotación de estos grupos para "corregir" los sesgos de la IA.

En conclusión, PDI ofrece una solución técnica y estadísticamente sólida para el problema de la representación desigual de perspectivas en la era de los LLM, priorizando la validez de las inferencias sobre la simplicidad de la automatización.