The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text

A continuación presento un resumen técnico detallado del artículo "The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text" (La señal es el techo: Límites de medición de las calificaciones de experiencia predichas por LLM a partir de texto de encuestas abiertas), publicado en abril de 2026 por Andrew Hong, Jason Potteiger y Luis E. Zapata de Dimension Labs.

1. El Problema

El estudio aborda la tarea de predecir una calificación numérica de experiencia (escala de 0 a 10) basándose únicamente en el texto de respuestas abiertas de encuestas post-evento (en este caso, de fanáticos de béisbol).

El problema central no es solo la precisión de la anotación, sino la validez de la medición. Un trabajo previo (Hong et al., 2026) estableció que un prompt no optimizado de GPT-4.1 podía predecir la calificación auto-reportada dentro de un punto de margen el 67% de las veces, pero que la brecha residual no era ruido aleatorio, sino una diferencia de constructo:

• El texto abierto: Registra incidentes salientes y específicos (ej. "larga fila en la concesión").
• La calificación numérica: Representa un juicio holístico influenciado por la emoción, el efecto pico-final y el estado afectivo actual (ej. "fue una gran noche a pesar de la fila").

El objetivo de este estudio es determinar cuánto pueden reducir la ingeniería de prompts (diseño de instrucciones) y la selección de modelos (LLM) esta brecha de medición, y si es posible cerrar la diferencia entre lo que los fanáticos escriben y lo que realmente sienten.

2. Metodología

Los autores realizaron un experimento de diseño factorial cruzado sobre aproximadamente 10,000 encuestas de fanáticos de 5 equipos de la MLB (marzo-junio de 2025).

• Configuraciones probadas: Se compararon 4 configuraciones combinando 2 tipos de prompts con 3 modelos de lenguaje:
  1. Prompt Base (p2_1): Instrucciones genéricas para inferir la calificación.
  2. Prompt Personalizado (p3_1_*): Añadía un proceso de decisión de tres pasos (priorizar el veredicto global, ponderar positivos vs. negativos, no penalizar en exceso quejas aisladas) y un campo de justificación (rationale).
  3. Modelos: GPT-4.1, GPT-4.1-mini y GPT-5.2.
• Métricas de Validación:
  • Exact Match: Coincidencia exacta con la calificación del fanático.
  • Within ±1: Coincidencia dentro de un punto de margen (métrica práctica clave).
  • MAE (Error Absoluto Medio): Magnitud promedio del error.
  • Sesgo de Error (Signed Error): Dirección sistemática de la predicción (subestimación vs. sobreestimación).
• Análisis de Texto: Se segmentaron los datos por claridad léxica (texto solo positivo, solo negativo, mixto, sin palabras clave de sentimiento) y por temas operativos (colas, estacionamiento, salidas).

3. Contribuciones Clave y Resultados

A. El "Techo" de la Precisión y la Descomposición

El hallazgo principal es que la precisión de la predicción tiene un techo determinado por la naturaleza del texto, no por la capacidad del modelo. Este techo tiene dos componentes:

1. Componente Cognitivo (Inmutable): La diferencia entre el recuerdo de incidentes específicos (texto) y el juicio holístico (número). Ninguna ingeniería de prompts o cambio de modelo puede cerrar esta brecha porque la información de cómo el fanático ponderó los eventos no está en el texto.
2. Componente de Medición (Corregible): Un sesgo inherente en los LLMs (entrenados en reseñas) que sobre-penaliza el lenguaje negativo superficial. Este componente sí puede corregirse mediante el diseño del prompt.

B. Resultados de Ingeniería

• Personalización del Prompt: El prompt personalizado en GPT-4.1 mejoró la concordancia "Within ±1" del 67% al 69% (+2 puntos porcentuales) respecto a la línea base. Esta mejora fue consistente en todos los tipos de texto, lo que indica una corrección de sesgo sistemático.
• Selección de Modelo:
  • GPT-4.1-mini: Fue el peor desempeño (61% Within ±1), mostrando un sesgo de subestimación extremo.
  • GPT-5.2: Aunque más avanzado, no superó al GPT-4.1 optimizado; de hecho, regresó al nivel de la línea base (67%), demostrando que un modelo más grande no garantiza mejor alineación si el prompt no está diseñado para corregir sesgos específicos.
• Conclusión: La ingeniería de prompts ayuda, pero de manera específica y predecible (corrigiendo el sesgo de negatividad), no como una mejora general de razonamiento.

C. El Dominio del Texto sobre el Modelo

La variabilidad en la precisión fue más de 20 veces mayor dependiendo del tipo de texto que del modelo o prompt utilizado:

• Texto solo positivo: Concordancia del 83-86% (todos los modelos capaces convergen).
• Texto con detalles operativos negativos: La concordancia cae drásticamente al 42-44%.
• Fricción Operativa: Las menciones a "colas", "estacionamiento" o "salidas" aumentan la tasa de desalineación en un 1.3x a 1.5x.

D. Estructura del Error y Utilidad Práctica

• Sesgo Direccional: El 86% de los errores grandes son subestimaciones. El modelo tiende a bajar la calificación basándose en detalles negativos específicos, mientras que el fanático mantiene una calificación alta basada en la emoción general.
• Valor como Clasificador: Aunque la coincidencia exacta es solo del 39%, la predicción es excelente para clasificación binaria:
  • Precisión de "Top-Box" (94-96%): Si el modelo predice una calificación alta, es casi seguro que el fanático estaba satisfecho.
  • Detección de Riesgo: El modelo es muy bueno (94-96% de recall) para identificar fanáticos insatisfechos, aunque tiene más falsos positivos (fanáticos que escribieron sobre problemas pero dieron una calificación media).

4. Significado e Implicaciones

Para la Ciencia de Datos y la Investigación

• Validación Conjunta: Los prompts y los modelos deben validarse juntos; un prompt optimizado para un modelo no se transfiere automáticamente a otro.
• Coherencia Texto-Calificación: La etiqueta de "confianza" del modelo es en realidad una medida de coherencia (qué tan bien el texto soporta una sola calificación). Esto permite crear filtros de calidad: aceptar automáticamente predicciones de alta coherencia y enviar las de baja coherencia a revisión humana.
• Señales Complementarias: La predicción LLM y la calificación de la encuesta no deben verse como sustitutos, sino como señales complementarias. La divergencia entre ellas identifica casos valiosos:
  • Satisfacción Frágil: Calificación alta, texto negativo (el modelo corrige el sesgo de negatividad para alinear con la calificación).
  • Lealtad No Expresada: Calificación baja, texto positivo (el modelo no puede corregir esto porque falta la información afectiva en el texto).

Limitaciones

El estudio se limita a un solo dominio (MLB) y a una muestra sesgada positivamente (los fanáticos que responden encuestas suelen estar más satisfechos). Además, no se probaron estrategias de prompt más avanzadas como Chain-of-Thought antes de la puntuación, aunque se sugiere como futura investigación.

Conclusión Final

El artículo concluye que la señal (el texto) es el techo de la precisión. La ingeniería de prompts puede corregir los sesgos instrumentales del modelo (ganando ~2 puntos de precisión), pero no puede superar la diferencia cognitiva fundamental entre lo que se escribe y lo que se siente. El valor operativo de estas predicciones no reside en imitar perfectamente la calificación numérica, sino en detectar sistemáticamente dónde el texto y la emoción del fanático divergen, permitiendo a las organizaciones actuar sobre la "satisfacción frágil" y la "lealtad no expresada".