Resumo Técnico: Inferência de Classificações de Experiência a partir de Texto Não Estruturado

1. Problema e Contexto

Organizações que gerenciam a experiência do cliente (neste caso, fãs de beisebol) frequentemente coletam dois tipos de dados distintos após um evento:

1. Classificação Numérica (Veredito): Uma pontuação global em uma escala (0–10) que representa um julgamento holístico e integrado da experiência.
2. Texto Aberto (Saliência): Uma resposta não estruturada onde o fã descreve o que aconteceu.

O problema central abordado é a divergência cognitiva entre esses dois dados. Enquanto a pontuação numérica reflete uma avaliação global que integra aspectos positivos rotineiros e a afinidade com a equipe, o texto aberto tende a capturar momentos salientes (memoráveis, emocionalmente intensos, incomuns ou problemáticos). A questão de pesquisa é: Um Modelo de Linguagem Grande (LLM) pode recuperar com precisão a pontuação numérica do fã a partir apenas do texto aberto, e o que significa quando as duas medidas divergem?

2. Metodologia

2.1 Dados e Amostra

• Fonte: Respostas de pesquisas pós-jogo de 5 times da Major League Baseball (MLB).
• Período: Março a Junho de 2025 (início da temporada).
• Amostra: 9.977 sessões de fãs com classificações válidas (0–10) e respostas de texto não nulas.
• Distribuição: A média de classificação foi 7,68 (viés para o alto), com 49% dos fãs avaliando 9 ou 10.

2.2 Abordagem do Modelo

• Modelo: GPT-4.1.
• Tarefa: Inferência de pontuação (scoring) pontual. O modelo recebeu apenas o texto da resposta aberta de um único fã.
• Restrições: O modelo não teve acesso a:
  • A pontuação real do fã.
  • Classificações de aspectos específicos (estacionamento, concessões, equipe).
  • Dados demográficos, resultado do jogo ou contexto da arena.
• Prompt: Deliberadamente simples e não otimizado ("Estime a classificação geral... usando APENAS evidências no texto"). Não houve few-shot learning (exemplos) nem calibração prévia.
• Validação: O processo foi executado três vezes independentemente para testar a reprodutibilidade e a estocasticidade do modelo.

2.3 Métricas de Avaliação

• Correspondência Exata: Porcentagem de previsões iguais à pontuação real.
• Acordo dentro de ±1: Porcentagem onde a diferença absoluta é ≤ 1 ponto (métrica principal de utilidade operacional).
• Erro Absoluto Médio (MAE) e Viés: Diferença média entre previsto e real.
• Correlação de Spearman: Concordância de ordem de classificação.
• Confiabilidade: Concordância entre as três execuções independentes.

3. Principais Resultados

3.1 Precisão e Alinhamento

• Acordo Geral: 67% das previsões estiveram dentro de ±1 ponto da pontuação real; 36% foram correspondências exatas.
• Correlação: Alta correlação de ordem (ρ = 0,82) entre a pontuação prevista e a real.
• Viés Sistemático: O modelo tende a subestimar a pontuação em aproximadamente 1 ponto em média.
  • Padrão de "Satisfação Frágil": Fãs que deram notas altas (9-10) mas escreveram sobre problemas operacionais (ex: estacionamento caro, filas) receberam previsões significativamente mais baixas (ex: 3-5).
  • O modelo subestima mais na faixa de 7-8 (onde há mistura de sentimentos) e superestima levemente nas notas muito baixas (0-2).

3.2 Confiabilidade (Reprodutibilidade)

• A medição é quase determinística.
• Entre as três execuções independentes:
  • 87% das previsões foram idênticas.
  • 99,9% estiveram dentro de ±1 ponto.
  • Correlação de Pearson entre execuções: 0,992.
• Implicação: A variação não é ruído aleatório; a divergência com a pontuação real é estrutural, não um erro de instabilidade do modelo.

3.3 Estrutura da Divergência

• Não é um erro de aspecto: A subestimação não é impulsionada por um único aspecto (como estacionamento ou concessões). O modelo captura a "veredito" geral, mas o texto captura a "saliência".
• Confiança Diagnóstica: O modelo atribui um rótulo de "Confiança" (Alta/Média).
  • Previsões de Alta Confiança (texto claro e unidirecional) têm 82% de acordo dentro de ±1.
  • Previsões de Média Confiança (texto ambíguo ou misto) têm apenas 47% de acordo.
• Mapeamento de Escala: A escala do modelo é comprimida. Uma previsão de 6 corresponde, em média, a uma pontuação real de 7,4.

4. Contribuições e Descobertas Teóricas

4.1 Diferença de Construto (Construct Difference)

O artigo argumenta que a divergência entre a pontuação prevista (baseada no texto) e a pontuação real (veredito) não é um erro a ser eliminado, mas uma diferença de construto a ser preservada:

• Veredito (Pontuação): Um julgamento holístico que integra a experiência completa, incluindo afinidade com a equipe e aspectos positivos rotineiros que não são "reportáveis".
• Saliência (Texto): A recuperação de incidentes específicos, vívidos e emocionalmente intensos (geralmente negativos ou incomuns), guiada por normas de comunicação (o que vale a pena relatar).

4.2 Validação de LLMs como Instrumentos de Medição

• Demonstra que um prompt simples e não otimizado pode recuperar sinais robustos de satisfação a partir de texto não estruturado.
• Estabelece que a consistência do LLM (87% de acordo exato entre execuções) supera os padrões típicos de confiabilidade entre codificadores humanos (Kappa de 0,60–0,75).

4.3 Sinalização de "Satisfação Frágil"

A divergência sistemática (fãs dando notas altas mas escrevendo sobre problemas) serve como um sistema de alerta precoce. Se a pontuação real permanece alta mas a pontuação prevista cai (ou a lacuna aumenta), isso indica que a satisfação dos fãs é condicional e vulnerável a falhas operacionais, mesmo que o "veredito" final ainda seja positivo.

5. Significado e Implicações Práticas

1. Não otimize para alinhamento perfeito: Tentar fazer o modelo prever exatamente a pontuação da pesquisa pode apagar informações valiosas sobre os pontos de dor específicos (saliência) que o texto revela.
2. Uso de Confiança: Filtre previsões por "Alta Confiança" para obter métricas mais precisas de alinhamento com a pesquisa.
3. Monitoramento de Tendências: Devido à alta estabilidade do modelo, mudanças na pontuação prevista ao longo do tempo refletem mudanças reais no que os fãs estão relatando, não ruído do instrumento.
4. Aplicação em Cenários sem "Ground Truth": Em contextos onde não há pontuação de pesquisa (ex: redes sociais, e-mails), a pontuação prevista do LLM é uma métrica válida e estável para rastrear tendências de satisfação, desde que interpretada como uma medida de "saliência emocional" e não como uma cópia exata de uma escala Likert.
5. Calibração vs. Engenharia de Prompt: Antes de reescrever prompts complexos, aplica-se um mapeamento de calibração (lookup) para alinhar a escala comprimida do modelo com a escala da pesquisa, mantendo a integridade do sinal de texto.

Conclusão

O estudo valida que os LLMs podem inferir com alta confiabilidade a classificação de experiência de fãs a partir de texto não estruturado. No entanto, a divergência sistemática entre a previsão do modelo e a pontuação real não é um defeito, mas uma evidência de que texto e pontuação medem coisas diferentes: o texto captura os momentos salientes e reportáveis, enquanto a pontuação captura o veredito holístico. A prática recomendada é utilizar ambas as métricas em conjunto para obter uma visão completa da experiência do cliente.