LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text

1. Planteamiento del Problema

Las organizaciones que gestionan la experiencia del cliente (en este caso, aficionados de béisbol) recopilan dos tipos de datos tras un evento:

1. Puntuaciones numéricas: Una calificación global (0-10) que representa un "veredicto" holístico del día.
2. Texto abierto: Una respuesta no estructurada donde el usuario explica su calificación.

El desafío radica en que el texto no estructurado es difícil de analizar a escala humana, mientras que la puntuación numérica, aunque fácil de medir, oculta los motivos específicos (fricciones operativas, momentos destacados). La pregunta central de este estudio es: ¿Puede un Modelo de Lenguaje Grande (LLM) inferir con precisión la puntuación numérica que un usuario dio, basándose únicamente en su texto abierto, y qué significa cuando hay una divergencia entre ambos?

2. Metodología

• Datos: Se utilizaron 9,977 respuestas de encuestas post-partido de aficionados de cinco equipos de la Major League Baseball (MLB) durante la temporada de 2025.
  • Entrada: Texto libre de una sola respuesta abierta.
  • Salida esperada: Puntuación global (0-10) que el usuario asignó en la encuesta.
  • Restricciones: El modelo no recibió la puntuación real, datos demográficos, resultados del juego ni información del estadio.
• Modelo: GPT-4.1.
• Diseño Experimental:
  • Prompt Minimalista: Se utilizó un prompt simple y no optimizado ("Estima la calificación global... usando SOLO la evidencia en el texto"). No hubo few-shot learning (ejemplos), calibración ni instrucciones complejas de manejo de sentimientos mixtos.
  • Reproducibilidad: Se ejecutaron tres corridas independientes (p2_1, p2_2, p2_3) sobre los mismos datos para evaluar la estabilidad estocástica del modelo.
  • Métricas de Validación: Tasa de coincidencia exacta, acuerdo dentro de ±1 punto, Error Absoluto Medio (MAE), sesgo (diferencia media) y correlación de Spearman.

3. Contribuciones Clave

1. Validación de la Robustez de LLMs: Demuestra que un prompt simple y sin optimización puede recuperar la intención de calificación del usuario con alta precisión en un contexto de escala masiva.
2. Descubrimiento de la "Divergencia Estructural": Identifica que la brecha entre la puntuación predicha por el LLM y la puntuación auto-reportada no es un error de medición, sino una diferencia de constructo:
   • Puntuación (Veredicto): Un juicio holístico que integra la lealtad al equipo, la experiencia general y aspectos no mencionados.
   • Texto (Saliencia): Captura momentos memorables, emocionalmente intensos, inusuales o accionables (a menudo quejas específicas).
3. Estabilidad Determinista: Establece que las predicciones de LLM son altamente reproducibles, superando los estándares de confiabilidad entre codificadores humanos.

4. Resultados Principales

A. Precisión y Alineación

• Acuerdo General: El 67% de las predicciones cayeron dentro de ±1 punto de la puntuación real, y el 36% fueron coincidencias exactas.
• Correlación: Alta correlación de rango (Spearman ρ = 0.82) entre la puntuación predicha y la reportada.
• Sesgo Sistemático: El modelo tiende a subestimar la puntuación en aproximadamente 1 punto (Bias = -0.96).
  • Patrón de "Satisfacción Frágil": La divergencia es más fuerte en la banda de puntuación 7-8. Los usuarios dan un 9 o 10 (veredicto positivo), pero escriben sobre problemas específicos (estacionamiento caro, filas largas). El LLM lee la queja y predice una puntuación más baja (ej. 5).

B. Fiabilidad (Reproducibilidad)

• Consistencia entre corridas: El 87% de las predicciones fueron idénticas en las tres corridas independientes. El 99.9% estuvo dentro de ±1 punto.
• Correlación entre corridas: 0.992. Esto indica que el modelo no es ruidoso; mide algo real y consistente en el texto.

C. Etiquetas de Confianza

• El modelo generó una etiqueta de confianza (Alta/Media).
• Predicciones de Alta Confianza: 82% de acuerdo dentro de ±1 y 50% de coincidencia exacta.
• Predicciones de Media Confianza: 47% de acuerdo dentro de ±1. Esto ocurre cuando el texto contiene señales mixtas o contradictorias (ej. "Todo genial, pero el estacionamiento costó $40").

D. Correlación con Aspectos Específicos

• La puntuación predicha se correlaciona más fuertemente con la puntuación global (r=0.82) que con cualquier aspecto individual (personal, concesiones, estacionamiento, etc.).
• Esto confirma que el modelo no se "ancla" en una sola queja, sino que integra la señal del texto de manera similar a como el usuario integra su experiencia, aunque con un enfoque diferente en la saliencia.

5. Significado e Implicaciones

Interpretación de la Divergencia

El estudio concluye que la brecha entre la puntuación predicha y la real no debe eliminarse, sino preservarse como información valiosa.

• La Puntuación Real (Veredicto): Responde a "¿Cómo les fue hoy?". Incluye lealtad, hábito y satisfacción general.
• La Puntuación Predicha (Saliencia): Responde a "¿De qué están hablando los fans y cómo se sienten?". Captura fricciones operativas y momentos específicos.
• Valor Operativo: Una divergencia creciente (puntuación real alta, predicha baja) es una señal de alerta temprana de "satisfacción frágil". Indica que los fans están contentos por lealtad, pero están acumulando quejas operativas que podrían romper su lealtad si no se abordan.

Recomendaciones para la Práctica

1. No optimizar para la alineación perfecta: Intentar forzar al modelo a coincidir exactamente con la encuesta eliminaría la información única que ofrece el análisis de texto.
2. Uso de la etiqueta de confianza: Filtrar por "Alta Confianza" mejora drásticamente la precisión para aplicaciones críticas.
3. Calibración post-hoc: En lugar de reescribir el prompt, se debe aplicar una función de mapeo para alinear la escala comprimida del LLM con la escala de la encuesta si se requieren valores absolutos comparables.
4. Monitoreo de tendencias: Dado que la medición es casi determinista, los cambios en las puntuaciones predichas a lo largo del tiempo reflejan cambios reales en lo que los usuarios escriben, no ruido del modelo.

Conclusión

El estudio valida que los LLMs pueden extraer señales predictivas robustas de texto no estructurado en contextos de experiencia del cliente. La verdadera innovación no es la capacidad de predecir la puntuación, sino la capacidad de cuantificar la diferencia entre lo que el cliente dice que valora (texto/saliencia) y lo que evalúa globalmente (puntuación/veredicto). Esta brecha proporciona una métrica diagnóstica superior para identificar riesgos operativos ocultos en métricas de satisfacción agregadas.