Measuring Self-Rating Bias in LLM-Generated Survey Data: A Semantic Similarity Framework for Independent Scale Mapping

Resumen Técnico: Medición del Sesgo de Autoevaluación en Datos de Encuestas Generados por LLM

1. El Problema: La Circularidad en la Medición

El artículo identifica un problema metodológico fundamental en el uso de Modelos de Lenguaje Grandes (LLM) para generar datos sintéticos de encuestas: la circularidad en la medición.

• El flujo estándar: Un LLM genera una respuesta de texto natural y, a menudo, el mismo modelo (o familia de modelos) asigna una puntuación numérica (escala Likert) a ese texto.
• La falla: Esto equivale a que un estudiante se califique a sí mismo. La consistencia interna del modelo refleja sus propios sesgos y patrones de entrenamiento, no la validez del constructo medido.
• Consecuencias: Las métricas de fiabilidad se inflan artificialmente y las afirmaciones de validez basadas en la concordancia entre el texto generado y la puntuación asignada por el mismo modelo son no transferibles a juicios humanos. Además, se ha observado que la autoevaluación de los LLM produce una compresión de la varianza de los errores, subestimando la incertidumbre real de la medición.

2. Metodología: Semantic Similarity Rating (SSR)

Para resolver la circularidad, los autores proponen y validan el marco Semantic Similarity Rating (SSR), que desacopla la generación del texto de la asignación de la escala mediante un canal de medición arquitectónicamente independiente.

Arquitectura del Sistema:

1. Generación: Un LLM (Claude Haiku 4.5) genera la respuesta de texto basándose en un perfil de persona y una pregunta de encuesta.
2. Medición Independiente: Un modelo de incrustación (embedding) diferente (Voyage AI voyage-3.5-lite o OpenAI text-embedding-3-small) mapea el texto generado a una puntuación numérica.
   • Mecanismo: Se calcula la similitud coseno entre el vector de la respuesta y un conjunto predefinido de afirmaciones ancla (anchor statements) que representan cada punto de la escala.
   • Procesamiento:
     • Incrustación Asimétrica: Las afirmaciones ancla se tratan como "documentos" y las respuestas como "consultas" (queries), lo que mejora la discriminación.
     • Normalización Min-Max: Se aplica para estirar el rango de similitud coseno (que suele estar comprimido entre 0.75 y 0.90) al intervalo [0, 1].
     • Softmax con Temperatura: Convierte las similitudes normalizadas en una distribución de probabilidad para extraer la puntuación esperada.

Diseño de los Anclajes (Anchors):
Un hallazgo crucial es la importancia del lenguaje de las afirmaciones ancla. Se compararon dos tipos:

• Jerga formal: Etiquetas abstractas (ej. "Muy insatisfecho").
• Lenguaje naturalista conductual: Descripciones específicas, en primera persona y con carga emocional (ej. "Terrible. Me sentí frustrado y enojado todo el tiempo...").

3. Contribuciones Clave

1. Validación de la Independencia Metodológica: Demostración de que desacoplar la generación de la medición mediante incrustaciones semánticas elimina la circularidad, aunque a costa de una precisión absoluta ligeramente menor comparada con la autoevaluación del LLM.
2. Optimización de Anclajes: Identificación de que el uso de anclajes conductuales naturalistas mejora la precisión en un 29 puntos porcentuales (pp) en comparación con el jerga formal.
3. Caracterización del Sesgo de Circularidad: Evidencia empírica de que la autoevaluación de los LLM produce una compresión de la varianza de los errores 4 veces mayor ($\sigma^2 \approx 0.21$ vs. $0.87$ para SSR) y un sesgo direccional sistemático (subestimación).
4. Generalización Cross-Modelo: Validación de que la compresión de la varianza es una propiedad general de los LLM (se mantiene incluso cuando un modelo evalúa texto generado por otro modelo), no solo un artefacto de un modelo específico.

4. Resultados Principales

Precisión y Generalización:

• Conjunto de Validación (69 casos, 8 dominios):
  • SSR (Voyage): 67% de coincidencia exacta, 91% dentro de $\pm 1$ punto.
  • SSR (OpenAI): 77% de coincidencia exacta, 100% dentro de $\pm 1$ punto.
  • Variación por dominio: La precisión varía significativamente según el dominio (desde 33% en "Importancia" hasta 90% en "Satisfacción"), lo que indica que la calidad de los anclajes es crítica.
• Comparación con Baselines (Autoevaluación LLM):
  • Los LLM (Claude y GPT-4o) que califican su propio texto (o texto humano) alcanzan un 87-83% de coincidencia exacta.
  • Conclusión: Los LLM directos son más precisos, pero SSR ofrece independencia metodológica. La ventaja de SSR no es la precisión bruta, sino la ausencia de sesgos de auto-consistencia.

Experimentos de Control:

• Asimetría de Información: Se demostró que eliminar el texto de la pregunta del prompt del LLM (para igualar la información con SSR) mejora la precisión del LLM, descartando la hipótesis de que SSR es menos preciso por falta de contexto.
• Control Cross-Modelo: Cuando GPT-4o califica texto generado por Claude, la compresión de la varianza es casi idéntica a la de la autoevaluación (ratio 0.93), confirmando que la compresión es una propiedad inherente a la evaluación por LLM, no solo a la circularidad intra-modelo.

Hallazgos sobre la Varianza:

• SSR: Los errores están dispersos alrededor de cero (sesgo cercano a 0), lo que permite que los errores se cancelen a nivel poblacional.
• LLM (Autoevaluación): Los errores están altamente comprimidos y sesgados negativamente (subestiman la puntuación), lo que lleva a una falsa sensación de certeza y precisión.

5. Significado e Implicaciones

Para la Ciencia Social Computacional:

• Compensación Precisión vs. Independencia: Los investigadores deben elegir entre la máxima precisión (usando LLM para calificar) o la independencia metodológica (usando SSR). Para estudios confirmatorios o validación psicométrica, la independencia es crucial para cuantificar la incertidumbre real.
• Detección de Sesgo: SSR actúa como una capa de validación. Si un LLM y SSR discrepan en más de un punto, se debe marcar para revisión manual, ya que la autoevaluación del LLM tiende a subestimar la variabilidad.
• Calidad de los Anclajes: La ingeniería de los "prompts" de calificación no es suficiente; la calidad semántica de las afirmaciones ancla (lenguaje conductual rico) es el factor más determinante para el éxito de los métodos basados en similitud semántica.

Limitaciones y Futuro:

• La "verdad fundamental" (ground truth) en el estudio fue asignada por un solo investigador, lo que introduce incertidumbre en las métricas de precisión absoluta.
• El estudio se centró en dominios de consumo en inglés. Se requiere validación en otros idiomas y dominios complejos (política, salud).
• Se sugiere un enfoque híbrido: usar LLM para la calificación principal (por precisión) y SSR como verificación independiente para detectar la compresión de varianza artificial.

En conclusión, el artículo establece que, aunque los LLM son excelentes calificadores, su autoevaluación introduce un sesgo sistemático de compresión de varianza. El marco SSR proporciona una alternativa metodológicamente independiente necesaria para una cuantificación honesta de la incertidumbre en los datos de encuestas sintéticas.