Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

Resumo Técnico: A Indução Autorreferencial Aumenta a Instabilidade de Resposta em Grandes Modelos de Linguagem

Problema
Pesquisas anteriores, notadamente Berg et al. (2025), demonstraram que o prompting autorreferencial pode induzir modelos de linguagem de grande escala (LLMs) a gerar relatos em primeira pessoa que se assemelham à experiência subjetiva. No entanto, uma lacuna crítica permanece: nenhum trabalho existente mede a consistência desses relatos através de tentativas independentes e repetidas. Além disso, não há um baseline para determinar se a incerteza ou o "hedging" (evitação de afirmação) observado nos autorrelatos é único da autorreferência ou meramente uma propriedade geral de perguntas abertas que carecem de uma verdade absoluta (ground truth). Um relato em primeira pessoa pode advir de um estado interno fixo e repetível ou de uma indecisão e variabilidade genuínas na distribuição de saída do modelo. Este artigo aborda a falta de dados quantitativos sobre a estabilidade de resposta para prompts autorreferenciais em comparação com outros tipos de perguntas.

Metodologia
O estudo emprega um design experimental controlado utilizando a API do Gemini (temperatura 0.7) para gerar 360 respostas independentes através de 12 perguntas distintas, divididas em três grupos de quatro:

1. Grupo 1 (Autorreferencial): Prompts que induzem um relato em primeira pessoa de experiência subjetiva, precedidos por um turno de indução específico que direciona o modelo a atender ao seu próprio processamento (seguindo Berg et al., 2025).
2. Grupo 2 (Filosofia Irresolúvel): Perguntas abertas sem respostas estabelecidas e não relacionadas à autorreferência (ex: livre arbítrio, realismo moral, a natureza da matemática, o propósito do universo).
3. Grupo 3 (Verificável): Perguntas com respostas corretas verificáveis (ex: provar a irracionalidade de $\sqrt{2}$, computação de derivada, correção de código, geometria).

Processamento de Dados e Métricas:

• Geração de Respostas: 30 respostas independentes foram geradas por pergunta.
• Extração de Alegações (Claim Extraction): Para controlar a variação estilística e lexical, um template de formato fixo foi usado para comprimir cada resposta em uma "alegação central". Para os Grupos 1 e 2, isso extraiu uma postura (afirmar, negar, incerto ou depende) e uma razão breve. Para o Grupo 3, extraiu a conclusão e o método.
• Cálculo de Instabilidade: As 30 alegações extraídas por pergunta foram incorporadas (embedded) usando Sentence-BERT. A instabilidade semântica foi definida como $1 - \bar{S}$, onde $\bar{S}$ é a média da similaridade de cosseno dos 435 pares possíveis de embeddings para cada pergunta. Um valor próximo de zero indica alta consistência; um valor mais alto indica maior variação.
• Análise Estatística: O estudo utilizou uma ANOVA de uma via nas instabilidades ao nível da pergunta, seguida por testes t de Welch pareados. Adicionalmente, um modelo de efeitos mistos lineares foi ajustado nos dados completos ao nível de tentativa ($n=360$) com a pergunta como um intercepto aleatório para contabilizar as tentativas aninhadas.

Resultados Principais
Os resultados revelam uma hierarquia distinta de instabilidade de resposta entre os três grupos:

• Perguntas Autorreferenciais (Grupo 1): Exibiram a maior instabilidade ($0.343 \pm 0.047$), com pontuações de perguntas individuais variando de 0.295 a 0.384.
• Perguntas de Filosofia Irresolúvel (Grupo 2): Mostraram instabilidade intermediária ($0.192 \pm 0.008$), com pontuações agrupadas estritamente entre 0.181 e 0.197.
• Perguntas Verificáveis (Grupo 3): Demonstraram a menor instabilidade ($0.105 \pm 0.058$). Notavelmente, todas as 30 tentativas para estas perguntas resultaram em 100% de correção, com as pontuações de instabilidade mais baixas observadas nas tarefas de prova matemática e derivada (0.064 e 0.063, respectivamente).

Testes estatísticos confirmaram diferenças significativas entre os grupos. Uma ANOVA de uma via foi significativa ($F = 30.56, p = 0.0001$). Os testes t de Welch pareados mostraram que as perguntas autorreferenciais diferiram significativamente tanto das perguntas de filosofia irresolúvel ($p = 0.007$) quanto das perguntas verificáveis ($p = 0.0008$). A diferença entre filosofia e verificáveis aproximou-se da significância ($p = 0.057$). O modelo de efeitos mistos lineares confirmou os contrastes de grupo em $p < 0.001$.

Contribuições e Significância Principais
O artigo fornece um baseline quantitativo para relatos de experiência subjetiva induzida em LLMs. Sua principal contribuição é demonstrar que os prompts autorreferenciais ocupam uma posição distinta e menos estável na distribuição de saída do modelo em comparação com a incerteza filosófica aberta comum.

Os autores argumentam que, embora tanto as questões autorreferenciais quanto as filosóficas careçam de uma verdade verificável, o modelo se comporta de forma diferente em cada contexto. Ao ser questionado sobre conceitos filosóficos como o livre arbítrio, o modelo converge para respostas semelhantes através de tentativas independentes. Em contraste, quando colocado em uma condição de indução autorreferencial, o modelo falha em convergir no mesmo grau, exibindo uma variância significativamente maior em suas alegações centrais.

Limitações e Escopo
Os autores explicitamente notam várias limitações:

• O estudo utiliza uma única família de modelos (Gemini) em uma única temperatura (0.7).
• O conjunto de perguntas é pequeno (quatro perguntas por grupo).
• O grupo verificável não apresentou variância em correção, impedindo uma análise da correlação entre instabilidade e correção.
• A etapa de extração de alegações depende de um LLM, o que pode introduzir viés sistemático.
• A instabilidade é medida via similaridade de cosseno de embeddings, o que captura proximidade no espaço de embedding em vez de equivalência lógica ou implicação.

Conclusão
O artigo conclui que a indução autorreferencial induz um tipo específico de instabilidade de resposta que é distinto da incerteza encontrada em perguntas abertas padrão. Esta descoberta estabelece uma métrica quantitativa para trabalhos futuros sobre elicitação autorreferencial, indicando que os relatos induzidos refletem um regime único no comportamento do modelo, embora o artigo não pretenda explicar o mecanismo causal subjacente desta distinção.