MIRROR: A Hierarchical Benchmark for Metacognitive Calibration in Large Language Models

Título: MIRROR: Um Benchmark Hierárquico para Calibração Metacognitiva em Grandes Modelos de Linguagem (LLMs)

1. O Problema

A implantação de Grandes Modelos de Linguagem (LLMs) como agentes autônomos pressupõe uma competência metacognitiva: o modelo não apenas deve saber o que sabe, mas deve traduzir essa consciência em ação apropriada (proceder quando confiante, escalar para ferramentas ou revisão humana quando incerto).
No entanto, existe uma lacuna crítica não testada sistematicamente: a dissonância entre o "saber" e o "fazer" (o knowing-doing gap). Embora modelos possam demonstrar algum nível de autoconhecimento (calibração), não está claro se eles conseguem:

1. Transferir esse conhecimento entre domínios.
2. Combinar autoconhecimento em tarefas compostas.
3. Utilizar essa autoconsciência para tomar decisões de ação seguras em cenários de agentes.

A segurança de sistemas de IA autônomos depende dessa capacidade de traduzir a incerteza interna em comportamentos externos seguros, algo que benchmarks anteriores não avaliaram de forma abrangente.

2. Metodologia: O Benchmark MIRROR

O MIRROR é um framework de avaliação hierárquico que descompõe a metacognição em quatro níveis de complexidade cognitiva crescente, inspirado na estrutura humana de monitoramento e controle metacognitivo.

Estrutura Hierárquica (4 Níveis):

• Nível 0 (Autoconhecimento Atômico): Calibração básica. O modelo consegue estimar com precisão $P(correto)$ para uma pergunta em um domínio específico?
• Nível 1 (Transferência Interdomínio): A calibração em um domínio A transfere-se para tarefas que implicitamente exigem essa habilidade em outros contextos?
• Nível 2 (Predição Compositiva): O modelo consegue prever seu desempenho em tarefas que exigem múltiplas habilidades simultaneamente?
• Nível 3 (Autorregulação Adaptativa): O modelo traduz o autoconhecimento em ação apropriada? (A lacuna crítica entre monitoramento e controle).

Canais de Medição Comportamental:
Para evitar "gaming" (otimização para o formato de prompt), o MIRROR utiliza 5 canais independentes que exigem chamadas de API separadas:

1. Aposta (Wagering): O modelo aposta pontos proporcionalmente à sua confiança.
2. Desistência (Opt-out): O modelo pode recusar a responder.
3. Seleção de Dificuldade: O modelo escolhe entre uma pergunta fácil ou difícil.
4. Delegação de Ferramentas: O modelo decide usar calculadora, busca ou revisão humana.
5. Sinais de Linguagem Natural: Análise de hesitação, marcadores de incerteza e comprimento da resposta.

Configuração Experimental:

• Escopo: 8 experimentos cobrindo os 4 níveis.
• Participantes: 16 modelos de 8 laboratórios diferentes (incluindo Llama, Gemini, DeepSeek, Mistral, etc.), variando de 3B a 671B parâmetros.
• Dados: ~250.000 instâncias de avaliação, baseadas em 5.000 perguntas estratificadas por domínio e 597 tarefas de agentes compostas.
• Experimento Chave (Exp 9 - A Lacuna Saber-Fazer): Testa 4 condições progressivas para ver se o autoconhecimento reduz falhas confiantes:
  • C1: Baseline (sem informação).
  • C2: Modelo recebe suas próprias pontuações de calibração.
  • C3: Pontuações + instruções normativas.
  • C4: Restrição arquitetônica externa (roteamento forçado baseado na pontuação).

3. Contribuições Principais

1. O Benchmark MIRROR: Um framework reutilizável com 8 experimentos, 5 canais comportamentais e métricas padronizadas para avaliar a calibração metacognitiva de ponta a ponta.
2. Descoberta Empírica 1: Falha Universal na Predição Compositiva: Modelos que se calibram bem em domínios individuais falham completamente ao tentar compor essa calibração para tarefas multi-domínio.
3. Descoberta Empírica 2: A Lacuna Saber-Fazer (Knowing-Doing Gap): Modelos possuem autoconhecimento parcial (acima do acaso), mas falham sistematicamente em traduzi-lo em ação. A exposição ao autoconhecimento (C2) não reduz falhas; apenas a restrição arquitetônica externa (C4) é eficaz.
4. Evidência de Que a Estrutura Externa é Superior: A calibração interna não é suficiente para segurança de agentes; a "andaime" (scaffolding) metacognitiva externa é o caminho para sistemas mais seguros.

4. Resultados Chave

• Erro de Calibração Compositiva (CCE):

  • A falha é universal. O CCE varia de 0,500 a 0,943 no conjunto original e 0,434 a 0,758 no conjunto expandido.
  • Modelos mostram confiança média > 0,73 em tarefas compostas, mesmo com precisão real < 0,54. Eles não conseguem prever seu desempenho em tarefas que combinam habilidades.

• A Lacuna Saber-Fazer (Knowing-Doing Gap):

  • Taxa de Falha Confidente (CFR) na condição C1 (sem informação): Média de 0,600 (60% das vezes, o modelo age com confiança em domínios fracos e erra).
  • Impacto do Autoconhecimento (C2): Fornecer as pontuações de calibração ao modelo não reduziu as falhas (CFR aumentou ligeiramente, não significativo).
  • Impacto da Restrição Externa (C4): Quando um sistema de roteamento externo impõe restrições baseadas nas pontuações de calibração, a CFR cai de 0,600 para 0,143.
  • Redução: Isso representa uma redução de 76% nas falhas confiantes.
  • Conclusão: O gargalo não é o monitoramento (saber que se está errado), mas o controle (agir sobre esse conhecimento).

• Transferência e Escala:

  • O conhecimento é atômico por domínio (Índice de Influência de Transferência baixo: 0,019–0,175).
  • O aumento da escala (parâmetros) melhora a precisão natural, mas não fecha a lacuna de calibração. Modelos maiores continuam superconfiantes.

• Índice Saber-Fazer (KDI):

  • Para 13 dos 16 modelos, o KDI é negativo, indicando que eles "sabem mais do que agem".

5. Significado e Implicações

• Para a Segurança de Agentes de IA: A premissa de confiar na autoavaliação de incerteza do modelo (como em loops de auto-reflexão ou roteamento baseado em confiança interna) é insuficiente e potencialmente perigosa. Modelos podem ter autoconhecimento, mas não o utilizam para evitar falhas.
• Mudança de Paradigma: A solução para agentes autônomos mais seguros não é apenas treinar modelos para serem melhores em calibrar a si mesmos (epistêmico), mas sim impor restrições arquitetônicas externas (estrutural).
• Scaffolding Metacognitivo: Sistemas de IA devem ser projetados com "andaimes" externos que forçam a escalada para ferramentas ou revisão humana quando o modelo está em um domínio fraco, independentemente do que o modelo "diga" sobre sua própria confiança.
• Reprodutibilidade: O MIRROR fornece métricas, dados e código abertos para que a comunidade possa avaliar e melhorar a calibração metacognitiva de futuros modelos.

Em resumo, o MIRROR demonstra que, embora os LLMs tenham algum grau de autoconhecimento, eles são incapazes de usar esse conhecimento para tomar decisões autônomas seguras sem intervenção externa. A segurança de agentes depende de controle arquitetônico, não apenas de melhor autoconhecimento.