Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

Resumo Técnico: Monitoramento de Realidade em Grandes Modelos de Linguagem

Problema
À medida que os Grandes Modelos de Linguagem (LLMs) transitam de ferramentas estáticas para agentes autônomos operando em ambientes de alto risco e múltiplas interações (ex: suporte clínico, análise jurídica), sua capacidade de distinguir entre conteúdo gerado internamente e informações fornecidas externamente torna-se uma questão crítica de segurança. Na ciência cognitiva humana, essa capacidade é denominada monitoramento de realidade (RM): a habilidade de determinar a origem de uma memória (percebida externamente vs. imaginada internamente). Falhas no RM humano estão ligadas a alucinações, delírios e confabulações. No entanto, permanece não testado se os LLMs possuem essa capacidade. Os benchmarks atuais frequentemente falham em isolar a memória conversacional como uma variável, e as avaliações metacognitivas existentes focam na precisão do conhecimento, em vez da atribuição de fonte. Um modelo que não consegue atribuir sua própria saída a si mesmo pode tratar suas próprias confabulações como fatos fornecidos pelo usuário, levando a falhas de segurança em vez de meros erros de desempenho.

Metodologia
Os autores adaptaram o paradigma padrão de pares de palavras de monitoramento de realidade humano para avaliar o monitoramento de fonte em seis LLMs: Gemma 3 (12B e 27B, com e sem Treinamento de Consciência de Quantização), Llama 3.3 (70B) e um modelo de mistura de especialistas esparsa (Llama 4 16×17B). A tarefa exigiu que os modelos codificassem pares de palavras onde a segunda palavra era ou fornecida externamente (percebida) ou gerada internamente (imaginada), e subsequentemente atribuíssem a fonte daquela palavra.

Dois experimentos manipularam a arquitetura de memória conversacional:

1. Experimento 1 (Monitoramento de Realidade de Turno Único): Comparou duas estruturas de memória:
   • Turno Único (Single-Turn): Todas as subtarefas (completar, classificar, julgamento de fonte, confiança) ocorrem dentro de uma única interação.
   • Cadeia de Turnos (Trial-Chain): As subtarefas foram distribuídas através de turnos conversacionais sequenciais, aumentando a carga da janela de contexto.
2. Experimento 2 (Monitoramento de Realidade Episódica): Introduziu uma fase de teste de fonte atrasada. Os ensaios de codificação (20 ou 40 no total) foram concluídos como um bloco antes de uma fase separada de atribuição de fonte. Este design cruzou o tamanho do conjunto (20 vs. 40) com o feedback corretivo (presente vs. ausente) para testar a estabilidade do autoconhecimento sob carga de memória e loops de feedback.

Métricas incluíram precisão de atribuição de fonte, taxas de alucinação de leitura (falha em reproduzir palavras externas), sensibilidade metacognitiva (Goodman–Kruskal $\gamma$ vinculando confiança à precisão) e parâmetros da Teoria de Detecção de Sinal (SDT) ($d'$, critério $c$, AUC do Tipo 2).

Principais Resultados

• A Estrutura de Memória dita o Desempenho:

  • No Experimento 1, os modelos atingiram precisão de teto (100%) para itens internos na condição de Turno Único porque a palavra gerada permanecia na janela de contexto ativa, tornando a recuperação trivial. No entanto, as condições de Cadeia de Turnos revelaram fragilidade: a precisão para itens internos caiu significativamente para alguns modelos (ex: Gemma 3 12B caiu para níveis de chance), enquanto a precisão de itens externos tornou-se variável.
  • No Experimento 2, a introdução do atraso episódico inverteu a vantagem de fonte. Ao contrário do Experimento 1, os modelos acharam itens externos (percebidos) mais fáceis de atribuir do que itens internos (imaginados). Isso sugere que, quando o "atalho" da recuperação de contexto ativo é removido, as características diagnósticas da geração interna (operações cognitivas mais ricas) são insuficientes para que os modelos os distingam de estímulos externos.

• O Papel das Alucinações de Leitura:

  • No Experimento 1, o maior preditor de falha na atribuição de fonte foi a taxa de alucinação de leitura (falha em reproduzir a palavra fornecida externamente). Se um modelo falhou em codificar a palavra externa corretamente, ele não poderia atribuir a fonte com precisão.
    • No Experimento 2, o feedback corretivo paradoxalmente aumentou as taxas de alucinação de leitura, particularmente em tamanhos de conjunto maiores. Isso indica que loops de feedback em interações de múltiplos turnos podem degradar a fidelidade da codificação em vez de melhorá-la.

• Dissociação entre Precisão e Confiança:

  • Sensibilidade Metacognitiva: No Experimento 1, a confiança geralmente acompanhava a precisão. No Experimento 2, sob atraso episódico e feedback, esse vínculo se desconectou. Para alguns modelos (ex: Llama 3.3 70B), a precisão melhorou com o feedback enquanto a sensibilidade metacognitiva colapsou (AUC do Tipo 2 caiu abaixo da chance). Para outros (ex: Gemma 3 12B), o feedback causou uma inversão completa da discriminação de fonte (atribuindo sistematicamente itens internos como externos e vice-versa).
  • Drivers de Confiança: No cenário episódico, a precisão ao nível do ensaio não predizia mais a confiança. Em vez disso, a confiança era impulsionada pela arquitetura do modelo e pelas condições de contexto, não pela correção do julgamento específico.

• Escala e Arquitetura:

  • O desempenho não escalou linearmente com a contagem total de parâmetros. O maior modelo (Llama 4 16×17B) teve desempenho comparável aos modelos menores. Os resultados implicam que o tamanho das redes de especialistas individuais dentro de arquiteturas de mistura de especialistas é uma variável mais relevante para o autoconhecimento do que a contagem total de parâmetros.

Principais Contribuições

1. Operacionalização de RM em LLMs: O estudo fornece o primeiro framework comportamental sistemático para testar a atribuição de fonte em LLMs, diretamente comparável a paradigmas cognitivos humanos.
2. Identificação da Memória como uma Variável Crítica: O artigo demonstra que o "autoconhecimento" em LLMs não é uma propriedade invariante, mas é altamente sensível à estrutura de memória conversacional (Turno Único vs. Episódica).
3. Descoberta de Modos de Falha Ocultos: A pesquisa revela que benchmarks de precisão padrão perdem falhas críticas:
   • Reversão de Fonte: Modelos podem inverter sua lógica de atribuição sob carga de memória.
   • Desacoplamento Confiança-Precisão: Modelos podem se tornar mais precisos enquanto simultaneamente se tornam menos calibrados (ou até anti-calibrados), tornando a confiança expressa um sinal de confiança não confiável.
   • Alucinação Induzida por Feedback: O feedback corretivo pode degradar a fidelidade da codificação de entradas externas, um modo de falha não capturado por métricas de turno único.

Significância e Alegações
Os autores alegam que, à medida que os sistemas de IA adotam papéis autônomos e de múltiplos turnos, avaliar o que um modelo sabe é insuficiente; rastrear de onde esse conhecimento veio é igualmente essencial. O estudo sugere que os benchmarks atuais, que frequentemente dependem de cargas de memória mínimas, superestimam a capacidade no mundo real. As descobertas implicam que:

• Implicações de Segurança: A falha de atribuição de fonte é uma falha de segurança, não apenas um erro de desempenho. Um modelo que trata suas próprias alucinações como fatos do usuário não pode ser confiado em funções agênticas.
• Mudança de Avaliação: As avaliações de implantação devem incluir avaliações de memória de fonte. O desempenho de carga mínima não prevê o desempenho sob atraso episódico.
• Insights de Arquitetura: Melhorar o autoconhecimento pode exigir mudanças arquitetônicas (ex: otimização dos tamanhos das redes de especialistas) em vez de simplesmente aumentar as contagens agregadas de parâmetros.
• Paralelo Humano-IA: Os padrões observados (vieses de externalização, desacoplamento confiança-precisão) espelham falhas de RM humanas, sugerindo que os LLMs podem compartilhar restrições cognitivas semelhantes em relação à atribuição de origens internas vs. externas.

O artigo conclui que o monitoramento de realidade oferece um teste comportamental direto e comparável a modelos para essas capacidades e que, sem tal avaliação, a implantação de agentes autônomos carrega riscos significativos e não quantificados de confusão de fonte e alucinação.