The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text

Título: O Sinal é o Teto: Limites de Medição de Avaliações de Experiência Previstas por LLMs a partir de Textos de Pesquisas Abertas

Autores: Andrew Hong, Jason Potteiger, Luis E. Zapata (Dimension Labs)
Data: Abril de 2026

---

1. O Problema

O estudo aborda o desafio de prever, usando Grandes Modelos de Linguagem (LLMs), as classificações numéricas de satisfação de fãs (escala de 0 a 10) baseando-se apenas em suas respostas de texto aberto (explicações qualitativas) de pesquisas pós-evento.

O problema central não é apenas a precisão da previsão, mas a divergência estrutural entre dois tipos de saída cognitiva do mesmo respondente:

1. O Texto Aberto: Um registro seletivo de incidentes salientes (frequentemente focado em detalhes operacionais negativos, como filas ou estacionamento).
2. A Classificação Numérica: Um julgamento holístico influenciado por heurísticas como a "regra do pico-fim" e o afeto residual (ex: a emoção de uma vitória no jogo).

A pesquisa anterior (Hong et al., 2026) estabeleceu que um prompt não otimizado do GPT-4.1 acertava a classificação dentro de ±1 ponto em 67% dos casos. Este artigo investiga se o design de prompts e a seleção de modelos podem superar esse limite ou se a divergência é inerente à natureza dos dados.

2. Metodologia

O estudo utilizou um desenho experimental fatorial cruzado sobre aproximadamente 10.000 pesquisas pós-jogo de cinco times da MLB (Março a Junho de 2025).

• Configurações Testadas: 4 combinações de Prompt x Modelo:
  1. Baseline: Prompt genérico + GPT-4.1.
  2. Customizado: Prompt com arquitetura de decisão de 3 passos (priorizar veredito, pesar positivos/negativos, não penalizar excessivamente queixas isoladas) + campo de "racional" + GPT-4.1.
  3. Customizado: Mesmo prompt + GPT-4.1-mini.
  4. Customizado: Mesmo prompt + GPT-5.2.
• Tarefa: O modelo recebeu apenas o texto aberto e deve inferir a classificação numérica (0-10) que o fã atribuiu, sem acesso à resposta real.
• Métricas de Validação:
  • Exact Match: Acerto exato do número.
  • Within ±1: Acerto dentro de uma margem de erro de 1 ponto.
  • MAE (Erro Absoluto Médio): Magnitude média do erro.
  • Erro Sinalizado: Viés direcional (sub ou superestimação).
• Análise de Segmentação: Os dados foram estratificados por clareza lexical (texto apenas positivo, apenas negativo, misto, sem palavras-chave) e por nível de "confiança" do modelo.

3. Principais Contribuições e Descobertas

A. A Decomposição do "Teto" de Desempenho

O artigo propõe que o limite de precisão (o "teto") é composto por duas partes distintas que respondem diferentemente à engenharia:

1. Componente Cognitivo (Invariável): A diferença fundamental entre o que o fã escreve (incidentes salientes) e como ele julga a experiência global (afeto/emoção). Nenhuma engenharia de prompt pode corrigir isso, pois a informação de "peso" que o fã atribuiu aos eventos não está no texto.
2. Componente de Medição (Corrigível): Um viés do instrumento (o LLM) que tende a superponderar a negatividade superficial do texto, herdado dos dados de treinamento (ex: resenhas de produtos onde texto negativo correlaciona-se fortemente com notas baixas).

B. Impacto da Engenharia de Prompt vs. Seleção de Modelo

• Prompt Customizado: Aumentou a concordância dentro de ±1 de 67% para 69% no GPT-4.1. O ganho foi consistente em todos os tipos de texto, mas maior onde o viés de negatividade poderia atuar (textos positivos ou neutros com queixas isoladas). Isso confirma que o prompt atuou como uma correção de viés, não como uma melhoria geral de raciocínio.
• Seleção de Modelo:
  • O GPT-4.1-mini degradou o desempenho significativamente (61% dentro de ±1), falhando em distinguir entre "mencionar algo negativo" e "ter uma experiência negativa".
  • O GPT-5.2 retornou ao nível da baseline (67%), sugerindo que modelos mais avançados não transferem automaticamente melhorias sem um prompt específico.
• Conclusão: A engenharia de prompts deve ser validada junto com o modelo; um prompt otimizado para um modelo não garante desempenho em outro.

C. A Clareza Textual é o Fator Determinante

O fator mais poderoso para a precisão não foi o modelo ou o prompt, mas a natureza linguística do texto de entrada.

• Textos Apenas Positivos: Alinhamento de 83-86% (todos os modelos capazes).
• Textos com Detalhes Operacionais Negativos: Alinhamento cai para 42-44%.
• Magnitude do Efeito: A variação de precisão entre os tipos de texto foi mais de 20 vezes maior do que a variação entre as melhores e piores configurações de prompt/modelo dentro do mesmo tipo de texto. O texto define o teto; o prompt e o modelo definem quão eficientemente o instrumento atinge esse teto.

D. Viés Direcional e Estrutura de Erro

• Subestimação Sistemática: 86% dos grandes erros (fora de ±1) são subestimações. O modelo penaliza detalhes operacionais negativos mais severamente do que o fã faz em sua avaliação global.
• Valor Operacional: Embora a precisão pontual seja limitada (39% de exact match), a estrutura de erro direcional torna a previsão altamente útil para classificação:
  • Precisão no Top-Box (9-10): 94-96%. Se o modelo prevê uma nota alta, é quase certo que o fã está satisfeito.
  • Recall em Baixa Satisfação: 94-96%. O modelo captura quase todos os fãs insatisfeitos, mesmo que às vezes classifique falsamente positivos (fãs que escreveram mal, mas deram nota média).

4. Resultados Quantitativos Chave

• Melhor Configuração (Custom GPT-4.1):
  • Exact Match: 39%
  • Within ±1: 69%
  • MAE: 1.22
• Ganho do Prompt Customizado: +2 pontos percentuais na concordância dentro de ±1 em relação à baseline.
• Impacto da Clareza Lexical: A diferença de precisão entre textos "Apenas Positivos" (86%) e "Apenas Negativos" (44%) é de 42 pontos percentuais.

5. Significado e Implicações Práticas

1. Sinais Complementares, não Substitutos: A classificação prevista pelo LLM e a nota auto-relatada medem construtos diferentes (salência textual vs. integração avaliativa). Eles não devem ser usados como substitutos, mas como sinais complementares.
2. Identificação de "Satisfação Frágil": O valor operacional máximo ocorre quando os sinais divergem. Fãs com nota alta (9-10) mas texto negativo (queixas operacionais) representam "satisfação frágil" e são alvos prioritários para retenção.
3. Estratégia de Gating (Filtragem): O rótulo de "confiança" do modelo é um proxy eficaz para a coerência texto-avaliação.
   • Alta coerência: Aceitar automaticamente para análise.
   • Média coerência: Rotear para revisão humana.
4. Foco na Arquitetura de Prompt: Investir em prompts que corrijam vieses específicos (como a superponderação de negatividade) é mais eficaz do que apenas trocar por modelos maiores. A engenharia deve focar na arquitetura de decisão, não apenas no "wrapper" do prompt.
5. Limites Inevitáveis: Não é possível "consertar" completamente a lacuna entre o texto e a nota, pois a informação faltante (o peso emocional que o fã deu aos eventos) não está no texto. O objetivo da engenharia é corrigir o viés do instrumento para chegar o mais perto possível do teto imposto pelos dados.

Em resumo, o artigo demonstra que a precisão de LLMs em tarefas de previsão de notas é limitada fundamentalmente pela qualidade e clareza do sinal textual, e que a engenharia de prompts tem um papel específico e limitado: corrigir vieses de medição do modelo, mas não pode superar a divergência cognitiva inerente entre o que as pessoas escrevem e o que elas sentem.