Domain-level metacognitive monitoring in frontier LLMs: A 33-model atlas

Resumo Técnico: Monitoramento Metacognitivo ao Nível de Domínio em LLMs de Ponta

Declaração do Problema
As avaliações atuais do monitoramento metacognitivo de Modelos de Linguagem de Grande Escala (LLMs) dependem de métricas agregadas, como um único escore de Área sob a Curva Característica Operadora do Receptor (AUROC) de Tipo 2 em todos os itens de referência. Essa abordagem assume que a capacidade de um modelo de discriminar entre respostas corretas e incorretas é uniforme em todos os domínios cognitivos. No entanto, trabalhos anteriores indicam que escores agregados mascaram variações significativas dentro do próprio modelo. Um modelo pode possuir capacidades de monitoramento robustas em domínios específicos (por exemplo, raciocínio jurídico) enquanto exibe desempenho próximo ao acaso em outros (por exemplo, resolução de problemas matemáticos). Esse "problema da métrica agregada" obscurece riscos críticos de implantação, pois sistemas de abstenção ou roteamento baseados em confiança, construídos sobre escores agregados, podem falhar quando aplicados a domínios onde o auto-monitoramento do modelo é fraco.

Metodologia
O estudo apresenta um "atlas de 33 modelos" de monitoramento metacognitivo em seis domínios cognitivos.

• Sujeitos: 33 LLMs de ponta de oito famílias (Anthropic, DeepSeek, Google-Gemini, Google-Gemma, OpenAI, Qwen, Zhipu) foram avaliados.
• Estímulos: 1.500 itens do benchmark MMLU foram administrados, estratificados em seis categorias de domínio cognitivo: Aplicado/Profissional, Recordação Factual, Raciocínio Formal, Humanidades/Compreensão, Ciências Naturais e Social/Moral. Cada domínio continha 250 itens.
• Elaboração: Os modelos foram instruídos a fornecer uma resposta e uma pontuação de confiança verbalizada (0–100) sem pistas de cadeia de pensamento.
• Análise: A AUROC de Tipo 2 (confiança prevendo correção) foi calculada para cada célula modelo-domínio (198 células no total). A análise utilizou intervalos de confiança de 95% por bootstrap (1.000 reamostragens) para avaliar a precisão. Uma análise de coerência ao nível do sujeito foi realizada para testar a validade da taxonomia de domínios, e testes de estabilidade de metade dividida foram conduzidos para avaliar a confiabilidade.
• Triagem de Validade: Os modelos foram primeiro triados usando um protocolo portátil (Cacioli, 2026e) para garantir que apenas sinais agregados "Válidos" fossem analisados para perfis de domínio.

Principais Resultados

1. Variação Universal de Domínio: Todo modelo com monitoramento agregado acima do acaso exibiu variação não trivial entre domínios. Métricas agregadas falharam em capturar esses perfis internos.
2. Hierarquia de Dificuldade de Domínio: Uma ordenação robusta da dificuldade de monitoramento emergiu entre os 33 modelos:
   • Mais Fácil: Conhecimento Aplicado/Profissional (AUROC média = .742; classificado no top-2 em 21/33 modelos).
   • Mais Difícil: Raciocínio Formal (AUROC média = .658) e Ciências Naturais (AUROC média = .652). Estes ocuparam as duas últimas posições em 27/33 modelos.
   • Meio: Domínios Factual, Social e Humanidades foram estatisticamente indistinguíveis (médias dentro de .007).
   • Essa hierarquia não é um artefato da precisão da tarefa; domínios aplicados tiveram a menor precisão média, mas as maiores pontuações de monitoramento, enquanto Humanidades tiveram a maior precisão, mas apenas pontuações de monitoramento em quarto lugar.
3. Perfis de Família e Geração:
   • Anthropic: Mostrou a maior qualidade agregada média (.778) e a menor amplitude, com formas de perfil consistentes entre gerações.
   • Google-Gemma: Demonstrou um salto geracional massivo, com o Gemma 4 31B mostrando uma melhoria de +.202 na AUROC em relação ao Gemma 3 27B, transformando-se de monitoramento próximo ao acaso para diferenciação forte.
   • OpenAI: Exibiu a maior amplitude (.530–.793), com o modelo aberto de 20B superando o modelo principal e modelos abertos maiores em monitoramento.
4. Especificidade do Formato de Sonda: Três modelos classificados como "Inválidos" sob sondas binárias MANTER/RETIRAR (devido a confiança invertida ou abrangente) produziram perfis válidos e estruturados sob confiança verbalizada de 0–100. Isso confirma que a validade metacognitiva é uma propriedade da interação modelo-sonda-tarefa, não uma propriedade intrínseca do modelo.
5. Anomalias:
   • GPT-oss-120B: Mostrou alta variância de confiança (DP = 21.3) mas monitoramento próximo ao acaso (.530), indicando expressão de incerteza não informativa.
   • Gemini 2.5 Pro: Exibiu uma dispersão massiva intra-modelo (.404) entre monitoramento Aplicado (.889) e Científico (.485).
6. Limitação de Validade de Construto: Uma análise de coerência ao nível do sujeito revelou que o agrupamento de seis domínios é uma taxonomia pragmática baseada na demanda cognitiva, não um construto latente validado. Sujeitos dentro de um domínio não foram estatisticamente mais semelhantes entre si do que a sujeitos em outros domínios.

Significado e Alegações
O artigo afirma fornecer o maior conjunto de dados de perfis padronizados para monitoramento metacognitivo de LLMs até a data. Sua contribuição primária é estabelecer que o monitoramento metacognitivo é estruturado por domínio, não uniforme. Os autores argumentam que a AUROC agregada é insuficiente para decisões de implantação; em vez disso, uma abordagem de "perfil" é necessária para identificar onde o sinal de confiança de um modelo é confiável.

O estudo apoia uma analogia procedural à neuropsicologia clínica: a triagem de validade deve preceder a pontuação agregada, que deve preceder a interpretação do perfil. O artigo enquadra explicitamente o atlas como uma ferramenta de triagem em estágio de benchmark, não uma certificação de implantação. Ele alerta que, embora a hierarquia Aplicado-fácil/Formal-difícil seja robusta entre modelos, a classificação específica de domínios intermediários dentro de um único modelo pode variar devido a ruído de amostragem, particularmente em modelos de alta precisão com poucos erros por domínio.

Os autores não afirmam ter identificado os mecanismos causais por trás dessas variações (por exemplo, características arquitetônicas específicas ou distribuições de dados de treinamento), mas oferecem hipóteses sobre "Paisagens de Conhecimento" e recuperação em cache. Eles enfatizam que as descobertas são específicas ao benchmark MMLU e à elaboração de confiança verbalizada, notando que os resultados podem diferir sob outros benchmarks ou formatos de sonda (por exemplo, escolhas binárias ou log-probabilidades).