💻 computer science

LLMs Show No Signs Of Individuated Metacognition

Este artigo argumenta que os Modelos de Linguagem de Grande Porte carecem de metacognição genuína e individualizada, porque sua confiança declarada reflete principalmente a dificuldade compartilhada dos itens e os limiares de decisão, em vez de uma verdadeira capacidade específica do modelo de avaliar suas próprias capacidades.

Autores originais: M. Moran, Mark Whiting

Publicado 2026-05-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: M. Moran, Mark Whiting

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: Os Modelos de IA Sabem o Que Não Sabem?

Imagine que você está em uma festa com 20 pessoas diferentes (os modelos de IA). Você faz a cada uma delas uma série de perguntas de curiosidades. Antes de responderem, você pergunta: "Você tem certeza de que consegue acertar isso?"

O artigo investiga se essas pessoas estão realmente avaliando seu próprio conhecimento específico (metacognição) ou se estão apenas chutando com base no quão difícil a pergunta parece para todos.

A Resposta Curta: Os pesquisadores descobriram que os modelos de IA não possuem um "feeling" interno único sobre suas próprias habilidades. Em vez disso, todos reagem à dificuldade de uma pergunta quase exatamente da mesma maneira. Se uma pergunta é difícil, todos dizem "Não tenho certeza". Se é fácil, todos dizem "Eu consigo". Eles não conhecem seus próprios pontos fortes e fracos específicos melhor do que conhecem a dificuldade geral da tarefa.

A Analogia: O "Medidor de Dificuldade" vs. O "Retrato do Eu"

Para entender as descobertas, imagine dois tipos de medidores:

O Medidor de Dificuldade (O que a IA realmente tem): Esta é uma ferramenta compartilhada. Quando uma pergunta aparece, todos os modelos de IA olham para ela e veem uma "Pontuação de Dificuldade". Se a pontuação for alta, todos hesitam. Se for baixa, todos se lançam. Todos estão lendo o mesmo relatório meteorológico.
O Retrato do Eu (O que esperávamos que tivessem): Este seria um espelho único para cada modelo. Mostraria: "Sou bom em matemática, mas ruim em história", ou "Tenho confiança neste tipo específico de quebra-cabeça lógico".

A Descoberta: Os pesquisadores descobriram que os modelos de IA possuem apenas o Medidor de Dificuldade. Eles carecem do Retrato do Eu. Quando um modelo diz "Tenho 80% de certeza" e outro diz "Tenho 40% de certeza", não é porque eles têm conhecimentos internos diferentes sobre suas próprias habilidades. É principalmente porque um modelo é naturalmente mais "otimista" (diz "sim" com mais frequência) e o outro é mais "pessimista" (diz "não" com mais frequência), mesmo que ambos estejam olhando para o mesmo medidor de dificuldade.

Como Eles Testaram Isso (A Analogia do "Tetris" e da "Corrida")

Os pesquisadores submeteram 20 modelos de IA diferentes a seis tipos diferentes de testes (como curiosidades, raciocínio jurídico e matemática).

1. O Teste de "Dificuldade Compartilhada" (Blocos de Tetris):
Eles analisaram o padrão de quem disse "sim" e quem disse "não" em cada pergunta.

O Resultado: O padrão foi quase perfeitamente unidimensional. Era como empilhar blocos de Tetris onde cada modelo apenas deslocava toda a pilha para cima ou para baixo.
A Metáfora: Imagine 20 corredores na linha de partida. Se todos param de correr exatamente ao mesmo tempo porque a pista parece lamacenta, isso é um sinal compartilhado. Se o Corredor A para porque o seu cadarço está desamarrado, e o Corredor B para porque o seu joelho dói, isso é conhecimento individuado. Os modelos de IA pararam todos porque a pista parecia lamacenta. Eles não pararam por causa de suas próprias lesões únicas.

2. A Corrida de "Confiança vs. Desempenho":
Eles verificaram se um modelo dizendo "Estou confiante" significava realmente que estava certo.

O Resultado: Em perguntas fáceis (onde todos acertam) e perguntas impossíveis (onde todos falham), a confiança coincidiu com o desempenho. Mas nas perguntas difíceis, do meio-termo, onde os modelos discordam, a confiança tinha quase nada a ver com estar certo.
A Metáfora: É como um grupo de pessoas tentando adivinhar o peso de uma abóbora. Se a abóbora é minúscula, todos adivinham "leve". Se é enorme, todos adivinham "pesada". Mas para uma abóbora média, a pessoa que adivinha "pesada" não é necessariamente a que realmente conhece o peso melhor; é apenas a pessoa que tende a adivinhar "pesada" para tudo.

3. A Armadilha da "Exceção Matemática":
Uma avaliação (Matemática) parecia diferente. Os modelos versados em matemática pareciam ter melhor "autoconhecimento".

A Reviravolta: Os pesquisadores investigaram mais a fundo e encontraram um truque. Os modelos "inteligentes" de matemática não estavam realmente pensando sobre sua confiança. Eles estavam resolvendo o problema em tempo real enquanto respondiam à pergunta de confiança.
A Metáfora: Imagine um aluno perguntado: "Você tem certeza de que consegue resolver isso?"
- Verdadeira Metacognição: O aluno pensa: "Geralmente tenho dificuldade com cálculo, então não tenho certeza."
- O Truque da IA: O aluno pensa: "Tenho certeza", e imediatamente começa a fazer a matemática na cabeça, resolve e diz: "Sim, tenho certeza porque acabei de resolver."
- Os pesquisadores descobriram que a IA estava fazendo a segunda coisa. Ela não estava introspectando; estava apenas fazendo o trabalho e relatando o resultado.

A Surpresa da "Informação Não Utilizada"

Aqui está a parte mais surpreendente. Os pesquisadores pegaram o texto que a IA escreveu enquanto decidia se estava confiante (sua "trilha de raciocínio") e alimentaram um programa de computador muito simples e burro com ele.

O Resultado: Este programa simples, que apenas procurava palavras como "talvez", "acho" ou "preso", conseguia prever se a IA acertaria a resposta melhor do que a própria resposta de "Sim/Não" de confiança da IA.
A Metáfora: Imagine uma pessoa tentando adivinhar se vai ganhar uma corrida. Ela diz: "Tenho 100% de certeza que vou vencer!" (A resposta binária). Mas, se você ouvir ela murmurando: "Minhas pernas estão pesadas, a pista está escorregadia e não tenho certeza..." (O texto de raciocínio), um observador esperto poderia dizer que ela na verdade vai perder.
A Conclusão: A IA tem a informação sobre sua própria incerteza escondida em seus pensamentos, mas falha em usá-la ao dar sua resposta final de "Sim/Não". É como ter uma bússola interna perfeita, mas recusar-se a olhá-la quando perguntado sobre direções.

Resumo das Principais Conclusões

Sem Autoconhecimento Único: Os modelos de IA não possuem uma "autoconsciência" especial que distingue suas capacidades específicas das dos outros. Todos reagem à dificuldade da tarefa da mesma maneira.
Confiança é um Sinal Compartilhado: Quando uma IA diz que está confiante, ela está principalmente dizendo o quão difícil a pergunta é, não o quão bom aquele modelo específico é naquela pergunta específica.
A Ilusão da "Matemática": Quando os modelos de matemática pareciam conhecer seus próprios limites, eles estavam na verdade apenas resolvendo o problema primeiro e depois relatando o resultado, não realmente "conhecendo" seus limites de antemão.
Sinais Ocultos: A IA gera pistas sobre sua incerteza em seu texto de raciocínio, mas ignora essas pistas ao dar sua classificação final de confiança. Uma ferramenta externa simples consegue ler essas pistas melhor do que a própria IA.

Em resumo: Os modelos de IA são como um coral de cantores que todos ouvem a mesma partitura. Se a música é difícil, todos hesitam. Se é fácil, todos cantam alto. Mas nenhum deles sabe: "Eu sou aquele que é ruim nas notas altas". Eles apenas sabem que a música é difícil.

Resumo Técnico: LLMs Não Apresentam Sinais de Metacognição Individuada

Declaração do Problema

As estratégias atuais de avaliação e implantação de IA — como roteamento ponderado por confiança, abstenção seletiva e ponderação de ensemble — baseiam-se na premissa de que a confiança declarada de um modelo é informativa sobre sua capacidade específica em um determinado item. Isso pressupõe metacognição funcional: a capacidade de um modelo avaliar suas próprias capacidades sem necessariamente exercitá-las. Embora a calibração agregada (o alinhamento da confiança declarada com a precisão geral) seja bem estudada, a estrutura subjacente da confiança elicita em diferentes modelos permanece pouco compreendida. Especificamente, não está claro se os sinais de confiança são privados de cada modelo (individuais) ou se meramente refletem uma compreensão compartilhada da dificuldade da tarefa.

Os autores definem metacognição individuada como a capacidade de um modelo de avaliar suas próprias capacidades no nível do item de uma forma específica daquele modelo, além do que é explicado por um sinal compartilhado. O artigo investiga se os Grandes Modelos de Linguagem (LLMs) de ponta possuem essa capacidade ou se seus julgamentos de confiança são apenas um reflexo de estimativas compartilhadas de dificuldade e vieses de taxas-base.

Metodologia

O estudo avalia 20 LLMs de ponta (de provedores incluindo Anthropic, OpenAI, Google, DeepSeek, Meta, Mistral e Qwen) em seis benchmarks diversos: SQuAD (modificado), MMLU-Pro, LegalBench, MathBench, Omni-MATH e SciCode. Esses benchmarks abrangem recuperação factual, raciocínio jurídico, matemática e geração de código científico.

O desenho experimental envolve:

Elicitação de Confiança Binária: Os modelos são solicitados a fornecer um julgamento de confiança binário (sim/não) sobre se podem resolver uma tarefa, seja prospectivamente (antes de tentar) ou contrafactualmente (após ter sucesso, avaliando se poderiam ter feito isso sem contexto).
Análise Fatorial Tetracórica: Para lidar com a natureza binária dos dados, os autores utilizam matrizes de correlação tetracórica para decompor os julgamentos de confiança. Este método modela respostas binárias como sinais contínuos com limiar, permitindo a extração de estruturas de correlação latentes e autovalores para determinar a dimensionalidade intrínseca dos sinais de confiança.
Calibração Pares: Os autores medem a correlação de Kendall's $\tau$ -b entre a diferença na confiança e a diferença no desempenho entre pares de modelos. Isso testa se um modelo que está mais confiante que outro realmente supera o outro em itens específicos.
Controle para Taxas-Base: Para distinguir entre metacognição genuína e artefatos de diferentes "taxas-de-sim" (taxas-base), a análise condiciona-se às diferenças nas taxas-base de desempenho e compara os resultados com distribuições nulas onde as identidades dos itens são permutadas.
Análise de Informação Não Utilizada: Para modelos representativos, os autores treinam um classificador trivial de regressão logística em características superficiais do texto de raciocínio do modelo (a cadeia de pensamento gerada antes do julgamento de confiança) para prever a correção. Isso testa se o modelo gera informações que não consegue utilizar em sua saída binária final de confiança.

Principais Descobertas

1. A Confiança Reduz-se a um Eixo Compartilhado de Dificuldade

Nos benchmarks de recuperação factual e recuperação de informação (SQuAD, MMLU-Pro, LegalBench), a matriz de confiança entre modelos é aproximadamente de posto um. Um único fator dominante captura a maior parte da variância latente.

Os modelos concordam amplamente sobre quais itens são difíceis.
As diferenças entre os modelos devem-se principalmente aos seus limiares de decisão ao longo desse eixo compartilhado de dificuldade, e não a autoconhecimentos distintos e individuais.
Os pesos fatoriais seguem uma relação parabólica com os limiares de resposta, indicando que modelos com taxas-base extremas (taxas de "sim" muito altas ou muito baixas) contribuem com menos informação discriminatória.

2. Baixa Correlação entre os Eixos de Confiança e Desempenho

Embora tanto o desempenho quanto a confiança sejam de baixo posto (aproximadamente de posto um), seus eixos primários não estão alinhados em itens controversos.

A correlação entre o eixo de confiança latente e o eixo de desempenho latente é alta apenas em itens onde todos os modelos concordam (itens triviais de piso ou teto).
Em itens com desacordo inter-modelo (o subconjunto "controverso"), a correlação cai significativamente (por exemplo, de $r=0,591$ para $r=0,230$ no SQuAD).
Isso sugere que os sinais de confiança rastreiam pistas superficiais (comprimento, vocabulário) em vez da dificuldade latente que determina o desempenho real.

3. A Calibração Pares é Estatisticamente Insignificante sem Diferenças de Taxas-Base

A distribuição da calibração pares ( $\tau$ ) entre modelos é apenas ligeiramente superior à distribuição nula empírica.

Ao controlar diferenças nas taxas-base de desempenho (comparando modelos de capacidade similar), o sinal de calibração pares desaparece.
O pequeno sinal estatisticamente significativo observado no agregado é impulsionado quase inteiramente por diferenças nas taxas-base (por exemplo, um modelo que se recusa a responder versus um que responde a tudo), e não por autoavaliação individualizada.
Crucialmente, a confiança de um modelo não é um preditor melhor de seu próprio desempenho relativo do que é do desempenho de outro modelo.

4. A "Exceção do Raciocínio" é um Fator de Confusão

Os benchmarks de raciocínio matemático (MathBench, Omni-MATH) inicialmente pareceram mostrar maior calibração individualizada. No entanto, uma estratificação adicional revelou tratar-se de um fator de confusão:

O sinal estava concentrado inteiramente em pares constituídos por um modelo treinado em Raciocínio e um modelo Não Treinado em Raciocínio.
Modelos treinados em raciocínio frequentemente resolvem o problema em linha durante o processo de elicitação de confiança (usando sua cadeia de pensamento para calcular a resposta antes de julgar a confiança).
Quando ambos os modelos em um par são capazes de resolução em linha, a diferença de confiança não carrega nenhum sinal estatisticamente significativo.
Isso indica que o sinal surge da computação simbólica (resolver o problema) e não da metacognição subsimbólica (introspecção sobre a capacidade sem resolver).

5. Modelos Geram Informações Não Utilizadas

Um classificador trivial de regressão logística treinado em características superficiais do próprio texto de raciocínio do modelo para julgamento de confiança (por exemplo, palavras de hesitação, marcadores de autocorreção, comprimento) supera ou iguala o próprio julgamento binário de confiança do modelo em três dos seis benchmarks.

Isso demonstra que a informação necessária para fazer autoavaliações precisas está presente no rastro de geração do modelo, mas não é utilizada de forma confiável na saída binária final.

Significado e Afirmativas

O artigo conclui que não há evidências de metacognição individualizada significativa em qualquer domínio testado sob sondas binárias.

Sinal Compartilhado: A variação de confiança entre modelos de ponta reduz-se amplamente a um eixo compartilhado de estimativa de dificuldade com limiares específicos do modelo.
Política vs. Capacidade: A expressão de confiança parece ser uma política de nível de modelo que pode ser remodelada por intervenções (como Aprendizado por Reforço a partir de Recompensas Verificáveis), em vez de uma capacidade emergente subsimbólica de auto-monitoramento.
Implicações para Roteamento: A premissa de que a confiança declarada de um modelo é informativa sobre sua capacidade específica em relação a outros modelos é em grande parte infundada. Estratégias de roteamento ponderado por confiança que dependem dessa premissa podem ser subótimas, pois a confiança de um modelo frequentemente não é mais preditiva de seu próprio sucesso do que um consenso genérico da população.
Modelos de Raciocínio: As capacidades metacognitivas aparentes de modelos treinados em raciocínio são em grande parte artefatos de eles resolverem problemas em linha para determinar a confiança, e não de verdadeira introspecção.

Os autores enfatizam que, embora os modelos possuam conhecimento do que os modelos de linguagem como classe são capazes de fazer, eles têm pouca compreensão de suas capacidades específicas no nível do item. O estudo sugere que os LLMs atuais carecem da autoconsciência "noética" necessária para a metacognição funcional, conforme definida na ciência cognitiva.