Measuring Self-Rating Bias in LLM-Generated Survey Data: A Semantic Similarity Framework for Independent Scale Mapping

1. O Problema: Circularidade na Medição de Dados Sintéticos

A pesquisa de opinião e as ciências sociais enfrentam desafios como a queda nas taxas de resposta e o aumento de custos. Modelos de Linguagem de Grande Porte (LLMs) surgiram como uma ferramenta promissora para gerar dados sintéticos de pesquisa (respostas simuladas a questionários).

No entanto, o artigo identifica um problema fundamental de circularidade metodológica no pipeline padrão de geração de dados sintéticos:

1. Geração: Um LLM gera uma resposta textual a uma pergunta de pesquisa.
2. Mapeamento (Avaliação): O mesmo modelo (ou da mesma família) é instruído a atribuir uma nota numérica (ex: escala Likert 1-5) a essa resposta.

Por que isso é um problema?
Isso equivale a pedir que um aluno corrija sua própria prova. A métrica de confiabilidade calculada sobre esses dados é inflada artificialmente, pois reflete a consistência interna e os vieses do próprio modelo, e não a validade da construção medida. A correlação entre o texto gerado e a nota atribuída mede apenas a coerência do output do modelo, não o alinhamento com o julgamento humano.

2. Metodologia: Semantic Similarity Rating (SSR)

O artigo propõe e valida o framework Semantic Similarity Rating (SSR), que desacopla a geração do texto do mapeamento para a escala numérica, eliminando a circularidade.

Arquitetura do SSR

O framework utiliza dois modelos independentes com objetivos de treinamento diferentes:

1. Geração: Um LLM (ex: Claude Haiku 4.5) gera a resposta textual baseada em um perfil de persona e na pergunta.
2. Medição (Mapeamento): Um modelo de embeddings (ex: Voyage AI voyage-3.5-lite ou OpenAI text-embedding-3-small) mapeia o texto gerado para uma escala numérica.

O Processo de Mapeamento:

• Âncoras Semânticas: Define-se um conjunto de declarações de texto (âncoras) para cada ponto da escala (ex: 1 a 5). O estudo descobriu que âncoras comportamentais naturalistas (ex: "Terrible. Fiquei frustrado...") superam significativamente o jargão formal de pesquisas.
• Cálculo de Similaridade: O texto gerado e as âncoras são convertidos em vetores (embeddings). Calcula-se a similaridade de cosseno entre o texto e cada âncora.
• Normalização e Temperatura: Devido à compressão de similaridade em espaços vetoriais de alta dimensão (onde as distâncias são muito pequenas), aplica-se uma normalização Min-Max para esticar o intervalo para [0, 1]. Em seguida, usa-se uma função Softmax com temperatura ($\tau$) para gerar uma distribuição de probabilidade sobre os pontos da escala.
• Extracção da Nota: A nota final é a média ponderada dos pontos da escala baseada nessa distribuição.

Inovação Técnica: O uso de embedding assimétrico (tratando a resposta como "query" e as âncoras como "documentos") melhora a discriminação entre os pontos da escala.

3. Contribuições Principais

O estudo oferece quatro contribuições-chave:

1. Validação da Independência Arquitetural: Confirma que o SSR funciona com modelos de provedores diferentes (Voyage e OpenAI), garantindo que o mapeamento não compartilhe os vieses de treinamento do modelo gerador.
2. Descoberta sobre Qualidade das Âncoras: Demonstra que o uso de linguagem comportamental naturalista nas âncoras aumenta a precisão em 29 pontos percentuais em comparação com jargão formal.
3. Calibração Sistemática: Identifica a configuração ótima através de experimentos fatoriais (normalização Min-Max, temperatura $\tau=0.15$, embedding assimétrico).
4. Evidência de Compressão de Variância: Revela um viés sistemático nos LLMs ao avaliarem seu próprio texto ou texto sintético, caracterizado por uma compressão de variância de erro.

4. Resultados e Descobertas

Precisão vs. Independência

• Baseline LLM (Autoavaliação): Quando o mesmo LLM gera e avalia o texto, a precisão exata é alta (87% para Claude, 83% para GPT-4o).
• SSR (Método Independente): O SSR apresenta uma precisão exata menor (65–67% com Voyage, 77% com OpenAI), mas mantém 91–100% de acertos dentro de $\pm 1$ ponto da escala.
• Conclusão: O SSR sacrifica um pouco de precisão bruta em troca de independência metodológica. A diferença de precisão não se deve à falta de informação (um teste de controle mostrou que remover o texto da pergunta do prompt do LLM melhorou a precisão do LLM, não piorou).

O Fenômeno da Compressão de Variância

Este é o achado mais crítico do artigo. Em um experimento pré-registrado ($N=345$):

• O LLM (autoavaliação) apresentou uma variância de erro 4 vezes menor ($\sigma^2 \approx 0.21$) em comparação ao SSR ($\sigma^2 \approx 0.87$).
• O LLM tende a agrupar as respostas em torno de uma pequena desvio negativo (subestimação sistemática), criando uma falsa sensação de precisão.
• Controle Cross-Model: Mesmo quando um modelo diferente (GPT-4o) avalia textos gerados pelo Claude, a compressão de variância persiste. Isso indica que a compressão é uma propriedade geral dos LLMs, não apenas um artefato de um modelo avaliando a si mesmo.

Desempenho por Domínio

O desempenho do SSR varia conforme o domínio semântico:

• Fortes: Satisfação e Intenção de Compra (88–90% de precisão exata).
• Moderados: Concordância, Valor, Probabilidade (63–75%).
• Fracos: Facilidade, Confiança, Importância (33–56%), indicando que as âncoras naturalistas para esses conceitos precisam de refinamento.

5. Significado e Implicações

1. Necessidade de Independência: Para validação psicométrica e estudos confirmatórios, a independência da medição é crucial. O SSR fornece uma camada de validação que o LLM não pode fornecer a si mesmo.
2. Qualidade dos Dados > Ajuste de Algoritmo: A qualidade das declarações de âncora (linguagem natural vs. jargão) é o fator mais impactante na precisão do sistema, superando ajustes de hiperparâmetros.
3. Arquitetura Híbrida Sugerida: O artigo sugere usar o LLM para a avaliação principal (devido à alta precisão) e o SSR como uma camada de validação independente. Casos onde as duas metodologias discordam significativamente devem ser sinalizados para revisão manual ou receber menor confiança.
4. Alerta sobre Precisão Artificial: Pesquisadores que usam dados sintéticos devem estar cientes de que as métricas de erro de LLMs são artificialmente comprimidas, subestimando a incerteza real da medição.

Conclusão

O artigo estabelece que, embora os LLMs sejam excelentes em mapear sentimentos para escalas numéricas, a circularidade inerente à autoavaliação distorce a compreensão da incerteza e do viés. O framework SSR oferece uma solução viável e validada para desacoplar a geração da medição, permitindo a criação de dados de pesquisa sintéticos com propriedades psicométricas mais robustas e honestas, desde que se invista na qualidade das âncoras semânticas e se aceite o trade-off entre precisão bruta e independência metodológica.