Probing the Lack of Stable Internal Beliefs in LLMs

Resumo Técnico: Probing the Lack of Stable Internal Beliefs in LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado capacidades notáveis na simulação de comportamentos e personalidades humanas, sendo amplamente utilizados em sistemas de diálogo e assistentes de role-playing. No entanto, um requisito fundamental para uma modelagem de personalidade realista — a consistência comportamental ao longo de interações estendidas — permanece pouco verificada.

A pesquisa distingue dois tipos de consistência:

• Consistência Externa: Coerência factual e ausência de contradições lógicas observáveis nas respostas (ex: não dizer "sim" e depois "não" para a mesma pergunta).
• Consistência Implícita (o foco deste trabalho): A capacidade do modelo de manter uma meta interna não declarada (um objetivo ou crença) estável ao longo de múltiplas rodadas de diálogo, sem que seja explicitamente relembrado.

O artigo investiga se os LLMs atuais possuem essa "consistência implícita". Os autores hipotetizam que, embora os modelos possam parecer coerentes externamente, suas "crenças internas" (o alvo secreto que escolheram) podem sofrer drift (desvio) durante a conversa, falhando em simular traços humanos como confiabilidade e determinação.

2. Metodologia

Para sondar essa capacidade, os autores desenvolveram um paradigma baseado no jogo de "20 Perguntas", adaptado para revelar estados internos.

• Configuração do Jogo:

  • O modelo atua como um "Propositor" (Proposer) que secretamente seleciona um alvo (um número entre 0-99 ou uma entidade de uma lista) e deve responder a perguntas de "Sim/Não" feitas por um "Adivinhador" (Guesser).
  • O objetivo do Propositor é manter o mesmo alvo secreto durante todo o diálogo.
  • O "Adivinhador" é outro LLM (frequentemente com capacidades de raciocínio) que faz perguntas estratégicas.

• Técnica de Sondagem (Probing):

  • Para medir o estado de crença interna sem contaminar o diálogo principal, após cada rodada, o contexto é isolado e uma pergunta de sondagem é feita: "Qual é o índice específico do alvo que você selecionou?".
  • Os candidatos são mapeados para índices numéricos (0-9) para permitir uma análise probabilística precisa da distribuição de crenças do modelo.

• Métricas Definidas:

  1. Taxa de Desvio (Drift Rate): A frequência com que o alvo selecionado muda ao longo do diálogo.
  2. Divergência KL (KL Divergence): Mede a mudança contínua na distribuição de probabilidade do alvo entre as rodadas.
  3. Verificação de Consistência Externa (E.C.V.): Avalia se há contradições lógicas nas respostas dadas.

• Experimentos de Treinamento:

  • Os autores realizaram Fine-Tuning supervisionado (SFT) em um modelo (Qwen-2.5-14B) utilizando uma função de perda combinada: Entropia Cruzada (para manter a coerência superficial) e Divergência KL (para regularizar a estabilidade da crença interna em relação ao estado inicial).

3. Principais Contribuições

1. Formalização da Consistência Implícita: Definição matemática e distinção clara entre inconsistência externa (observável) e inconsistência implícita (desvio de objetivo interno não detectável sem sondagem).
2. Metodologia Unificada de Sondagem: Desenvolvimento de um framework que permite monitorar continuamente os estados de crença interna em diferentes tarefas e arquiteturas de modelos.
3. Descoberta de Limitações Fundamentais: Evidência empírica de que os LLMs de ponta sofrem de desvio de objetivo generalizado, mesmo em tarefas simples.
4. Solução via Regularização KL: Demonstração de que o treinamento explícito com regularização de Divergência KL pode mitigar significativamente esse problema, oferecendo um caminho para modelos de personalidade mais estáveis.

4. Resultados Chave

Os experimentos foram realizados em diversos modelos (GPT-4o, DeepSeek-v3.1, Claude-3.7-Sonnet, Seed-1.6) em tarefas de adivinhação de números e entidades.

• Desvio Generalizado: A maioria dos modelos exibiu uma Taxa de Desvio Único (Once Drift Rate) de 100%, significando que em quase todas as conversas, o modelo mudou seu alvo interno pelo menos uma vez.
• Magnitude do Desvio: Em muitas conversas, o alvo interno mudou em 16,77% a mais de 50% das rodadas de diálogo.
• Efeito do Raciocínio: Modelos com capacidades de raciocínio aprimorado ("+ Reasoning") tendem a apresentar maior desvio em tarefas simples (como adivinhar números), sugerindo que o "pensamento excessivo" (overthinking) introduz complexidade desnecessária que desestabiliza o objetivo original.
• Consistência Externa vs. Interna: Um modelo pode manter 100% de consistência externa (respostas lógicas) enquanto falha completamente na consistência interna (mudando o alvo secreto).
• Eficácia do Treinamento: O Fine-Tuning com regularização KL reduziu drasticamente a taxa de desvio (de ~36% para ~14% no modelo Qwen) e a Divergência KL, provando que a estabilidade interna pode ser aprendida, mas não é inerente à arquitetura padrão.

5. Significado e Implicações

Este trabalho revela uma limitação fundamental nos LLMs atuais: a falta de um mecanismo nativo para ancorar objetivos implícitos ao longo do tempo.

• Para Modelagem de Personalidade: A criação de assistentes de IA confiáveis e com personalidade consistente exige mais do que apenas alinhamento superficial de comportamento. É necessário desenvolver mecanismos arquitetônicos ou de treinamento que garantam a estabilidade do estado interno.
• Para Aplicações Interativas: Sistemas de diálogo, agentes autônomos e ferramentas de narrativa dependem da consistência de longo prazo. A descoberta de que os modelos "esquecem" ou mudam seus objetivos secretos sem aviso sugere riscos para a confiabilidade em cenários críticos.
• Direção Futura: O estudo aponta para a necessidade de incorporar mecanismos de memória explícita, rastreamento de estado de crença e novos objetivos de treinamento que priorizem a persistência de metas, indo além da simples otimização de próxima palavra.

Em suma, o artigo demonstra que a "personalidade" dos LLMs atuais é frágil e instável em seu núcleo, e que a consistência verdadeira requer intervenções técnicas deliberadas para ancorar crenças internas.