🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Este artigo demonstra que os Grandes Modelos de Linguagem carecem de autoconsciência epistêmica genuína em dados tabulares clínicos, uma vez que sua confiança verbalizada é não informativa e sua acurácia correlaciona-se inversamente com a dificuldade da tarefa, mas propõe que a análise de divergência de atribuição entre modelos combinada com prompting de poucos disparos (few-shot) e evidência de características pode detectar eficazmente esses pontos cegos e melhorar significativamente tanto a acurácia quanto a calibração sem retreinamento.

Autores originais: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Publicado 2026-06-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O "Estagiário Superconfiante"

Imagine que você contratou um estudante de medicina brilhante (o LLM) que leu todos os livros de medicina do mundo, mas que nunca trabalhou de fato em um hospital. Você também tem uma enfermeira experiente e orientada por dados (o modelo XGBoost) que passou anos monitorando os sinais vitais dos pacientes e sabe exatamente quais números preveem uma doença específica (Lesão Renal Aguda).

Os pesquisadores fizeram uma pergunta simples: O estudante sabe quando está apenas chutando?

Eles descobriram que o estudante é perigosamente superconfiante. Não importa o quanto ele erre, ele diz: "Tenho 90% de certeza!". O artigo chama isso de "Pontos Cegos Epistêmicos" — o estudante não sabe o que não sabe.

O Experimento: Quatro Maneiras de Fazer a Pergunta

Os pesquisadores testaram o estudante de medicina (usando um modelo chamado Qwen 2.5) em 300 registros de pacientes. Eles tentaram quatro formas diferentes de pedir um diagnóstico:

A Folha em Branco (Zero-Shot): Apenas fornecer os dados do paciente e perguntar: "Ele tem lesão renal?".
- Resultado: O estudante chutou aleatoriamente (49% de precisão), mas ainda assim afirmou ter 85% de confiança.
A Folha de Cola (Zero-Shot + SHAP): Fornecer ao estudante os dados mais uma lista dos 5 principais números que a enfermeira considera importantes.
- Resultado: O estudante ainda teve um desempenho ruim (52% de precisão) e ainda afirmou ter 85% de confiança. Ele olhou para os números certos, mas não soube como usá-los.
Os Exemplos (Few-Shot): Fornecer ao estudante os dados mais quatro exemplos de pacientes passados com seus diagnósticos corretos.
- Resultado: O estudante melhorou muito (68% de precisão) e afirmou ter 93% de confiança.
O Super Combo (Few-Shot + SHAP): Fornecer ao estudante os exemplos e a lista da enfermeira sobre os números importantes.
- Resultado: O estudante tornou-se muito bom (75% de precisão) e afirmou ter 93% de confiança.

As Quatro Grandes Descobertas

1. O "Termômetro Quebrado" (A Confiança é Inútil)

A descoberta mais chocante é que a "pontuação de confiança" do estudante é um termômetro quebrado.

A Analogia: Imagine um termômetro que sempre lê "37°C", quer você esteja saudável ou com uma febre de 40°C.
A Realidade: Quer o estudante tenha acertado ou errado a resposta, fácil ou difícil, ele sempre disse que estava aproximadamente 85% a 93% seguro. A confiança dele era determinada inteiramente por como a pergunta era escrita, não pelo quão boa era a resposta. Isso não diz nada sobre se a previsão está correta.

2. O Efeito da "Dificuldade Inversa" (Eles Falham Onde o Especialista tem Certeza)

Os pesquisadores notaram um padrão estranho:

Quando a Enfermeira estava 99% segura (porque os dados eram muito claros e específicos), o Estudante estava apenas 65% correto.
Quando a Enfermeira estava insegura (porque os dados estavam confusos), o Estudante na verdade se saiu tão bem quanto a Enfermeira (cerca com cerca de 74% de acerto).
A Analogia: O estudante é ótimo em teoria médica geral, mas péssimo nos padrões específicos e estranhos dos dados deste hospital específico. O estudante brilha quando os dados são vagos e o conhecimento geral ajuda, mas falha quando os dados exigem padrões aprendidos e específicos.

3. O "Combo Mágico" (1 + 1 = 3)

Os pesquisadores descobriram que dar exemplos ao estudante (Few-Shot) e dar a ele a lista da enfermeira sobre os números importantes (SHAP) funcionou melhor juntos do que a soma de suas partes.

A Analogia: Imagine tentar aprender a dirigir.
- Exemplos sozinhos são como assistir a um vídeo de alguém dirigindo. Você entende o objetivo, mas não sabe quais pedais pressionar.
- A Lista sozinha é como alguém apontando para os pedais e dizendo "Pressione este". Você sabe o que tocar, mas não por que ou quando.
- Juntos, você finalmente entende o carro inteiro. Os pesquisadores descobriram que combinar esses dois métodos corrigiu o raciocínio do estudante muito mais do que apenas adicionar as duas melhorias individualmente.

4. O "Tradutor" (Corrigindo a Confiança)

Como a própria confiança do estudante é inútil, os pesquisadores construíram um pequeno "Tradutor" (um calibrador).

Como funciona: Este Tradutor observa a diferença entre o que o Estudante acha que é importante e o que a Enfermeira acha que é importante.
O Resultado: Se o Estudante e a Enfermeira discordam sobre o que importa, o Tradutor diz: "Ei, esta previsão é arriscada". Se eles concordam, ele diz: "Isso provavelmente é seguro".
O Impacto: Isso substituiu a falsa confiança do estudante por uma pontuação de confiabilidade real e específica para cada paciente. Não foi necessário olhar dentro do cérebro do estudante ou rodar o teste duas vezes; bastou comparar o raciocínio dos dois modelos.

A Conclusão: O Problema do "Início a Frio" (Cold Start)

O artigo conclui que colocar um LLM em dados estruturados (como planilhas de sinais vitais de pacientes) é como um Início a Frio (Cold Start).

O estudante tem o conhecimento (ele conhece a medicina).
Mas ele carece de direção (ele não sabe em quais números olhar).
E ele carece de autoconsciência (ele não sabe quando está apenas chutando).

O artigo sugere que não precisamos substituir a enfermeira inteligente e orientada por dados (XGBoost). Em vez disso, devemos usar a enfermeira para guiar o estudante (mostrando a ele quais características importam) e para calibrar o estudante (dizendo-nos quando o raciocínio do estudante está se desviando). Isso cria um sistema onde o estudante aprende a ser genuinamente consciente de seus próprios limites.

Resumo Técnico: Detecção de Pontos Cegos Epistêmicos via Divergência de Atribuição entre Modelos

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem promessa no esclarecimento de questões médicas e na sumarização de notas, sua aplicação a dados tabulares clínicos estruturados (ex: Registros Eletrônicos de Saúde) permanece subexplorada no que diz respeito à autoconsciência epistêmica. Pesquisas prévias estabeleceram que modelos baseados em árvores (ex: XGBoost) superam consistentemente os LLMs em tarefas de predição tabular, mas essa lacuna de desempenho tem sido tratada majoritariamente como uma métrica agregada monolítica (ex: menor AUROC) sem examinar a estrutura epistêmica subjacente.

O problema central abordado é se os LLMs conseguem reconhecer os limites de seu próprio conhecimento em tarefas estruturadas. Especificamente, o artigo investiga se os LLMs podem distinguir casos em que provavelmente estão corretos versus incorretos, e se seus sinais de confiança verbalizados são indicadores confiáveis da qualidade da predição em ambientes clínicos. Os autores enquadram isso como um problema de "cold start" (partida a frio): os LLMs possuem conhecimento médico relevante, mas carecem de direção (atenção às características) e mecanismos de autoavaliação necessários para aplicar esse conhecimento a dados estruturados.

Metodologia

Dados e Tarefa

O estudo utiliza o banco de dados clínico MIMIC-IV para replicar uma tarefa de predição de Lesão Renal Aguda (AKI).

Dataset: Uma coorte balanceada de 10.000 encontros (5.000 por classe) derivados de aproximadamente 209.000 admissões.
Características (Features): 321 características incluindo sinais vitais, demografia, códigos de diagnóstico CCS e valores laboratoriais discretizados.
Divisão (Split): Divisão 80/20 treino-teste para o XGBoost; um subconjunto de 15% (n=300) do conjunto de teste foi usado para a avaliação do LLM.
Baseline: Um classificador XGBoost treinado nas 50 variáveis mais influentes, alcançando um AUROC de ~0,85 e acurácia de ~0,823 no subconjunto de avaliação.

Configuração Experimental

Os autores avaliaram o Qwen 2.5 7B Instruct (hospedado localmente) através de quatro condições de prompting:

Zero-Shot (ZS): Características do paciente serializadas com um prompt de predição.
ZS + SHAP: Prompt ZS aumentado com as 5 principais características SHAP, escores de importância e impactos direcionais do modelo XGBoost.
Few-Shot (FS): Prompt ZS com quatro exemplos rotulados e balanceados por classe.
FS + SHAP: Combinação de exemplos few-shot e injeção de características SHAP.

Requisitos de Saída: Para cada caso, o LLM foi solicitado a gerar uma predição binária, um escore de confiança verbalizado (0–1) e uma lista ranqueada das 5 principais características com direções de risco. As saídas foram impostas via JSON estruturado.

Métricas e Análise

Pontuação de Desacordo de Atribuição (ADS): Quantifica o alinhamento entre as atribuições SHAP do XGBoost e o ranking de características autorrelatado pelo LLM usando a correlação de postos de Kendall ( $\tau$ ). $ADS = 1 - \tau$ .
Calibração: Medida via Erro de Calibração Esperada (ECE) e AUROC para distinguir predições corretas vs. incorretas.
Calibrador Cross-Model: Um modelo leve (Regressão Logística ou XGBoost) treinado para prever a probabilidade de correção do LLM ( $P(\text{LLM correto})$ ) usando características cross-model (ADS, sobreposição de Jaccard, concordância direcional, diferenças de confiança, etc.).

Principais Descobertas

1. A Confiança Verbalizada do LLM é Epistemicamente Vacante

O estudo descobre que a confiança verbalizada do LLM é inteiramente determinada pelo template do prompt, não pela qualidade da predição.

Observação: Os escores de confiança permaneceram quase constantes (0,856 para Zero-Shot; 0,937 para Few-Shot) independentemente de a acurácia ser de 49% ou 75,3%.
Implicação: Em dados tabulares clínicos, a confiança verbalizada carrega zero informação sobre a correção. Ela rastreia o formato do prompt em vez do estado epistêmico, tornando-se inútil para a tomada de decisão subsequente.

2. O Efeito da Dificuldade Inversa

Existe uma relação contraintuitiva entre a dificuldade dos dados e o desempenho do LLM em relação ao XGBoost.

Observação: Quando o XGBoost está altamente confiante (>0,85) e quase sempre correto (99% de acurácia), a acurácia do LLM cai para 64,8%. Inversamente, quando o XGBoost está moderadamente incerto (confiança 0,70–0,85), o LLM iguala seu desempenho (73,8% vs. 73,1%).
Implicação: Os modelos exibem modos de falha complementares. O LLM tem dificuldade com padrões de distribuição específicos de dados aprendidos pelo XGBoost, mas adiciona valor genuíno na "zona de incerteza" do XGBoost, onde o conhecimento médico geral é suficiente. No entanto, o LLM não consegue identificar essas zonas por si mesmo.

3. Alinhamento de Atribuição Super-Aditivo

Exemplos few-shot e evidências de características derivadas de SHAP atuam como intervenções ortogonais e super-aditivas.

Observação:
- Few-Shot: Melhora a compreensão da tarefa (mapeamento de características para predições), mas mal altera a atenção às características (a sobreposição de Jaccard aumenta apenas ligeiramente).
- Injeção de SHAP: Redireciona a atenção das características efetivamente (a sobreposição de Jaccard salta para 0,658), mas resulta em uma "adoção rasa" (o LLM copia as atribuições verbalmente sem ajustar significativamente as predições).
- Combinado (FS + SHAP): O efeito combinado na redução do ADS (redução de 1,158) excede a soma dos efeitos individuais (0,796). Esta combinação atinge 75,3% de acurácia e 0,378 de ADS.
Implicação: Resolver o "cold start" requer tanto demonstrações da tarefa (direção) quanto evidência estruturada do modelo (orientação).

4. Calibração Cross-Model via Divergência de Atribuição

Sinais de divergência de atribuição podem alimentar um sistema de calibração externo eficaz.

Observação: Um calibrador cross-model usando características de divergência de atribuição reduziu o Erro de Calibração Esperada (ECE) de 0,254 (LLM bruto) para 0,080. O calibrador alcançou um AUROC de 0,71 ao prever se o LLM estaria correto.
Implicação: Estimativas de confiabilidade específicas para cada paciente podem ser geradas sem acessar os internos do LLM ou exigir inferência repetida, substituindo a confiança constante e não informativa por um escore de confiabilidade significativo.

Significância e Alegações

O artigo enquadra estas descobertas como a caracterização de um problema de cold start para LLMs em dados estruturados. O LLM possui conhecimento médico latente, mas carece de um mecanismo para se orientar no espaço de características ou avaliar sua própria confiabilidade.

Fundação Diagnóstica: O trabalho estabelece um framework diagnóstico para identificar pontos cegos epistêmicos (atenção desalinhada, ausência de autoavaliação) em vez de apenas medir lacunas de desempenho.
Utilidade Prática: Demonstra que modelos estruturados existentes (como o XGBoost) podem servir um papel duplo nos fluxos de trabalho clínicos: fornecendo direção (via injeção de atribuição) e sinais de calibração (via divergência cross-model) para os LLMs.
Autoconsciência Epistêmica: Os autores argumentam que os LLMs atuais carecem de autoconsciência epistêmica genuína em tarefas estruturadas. O caminho proposto envolve o uso de alvos de calibração cross-model como sinais de recompensa para Aprendizado por Reforço (RL), potencialmente ensinando os LLMs a internalizar a incerteza calibrada no futuro.

O estudo é modesto em seu escopo, avaliando um único modelo (Qwen 2.5 7B) em uma única tarefa (AKI) com um tamanho de amostra limitado (n=300). Ele reconhece limitações como as atribuições de características autorrelatadas e o caráter preliminar do calibrador, posicionando este trabalho como um passo fundamental em direção a uma pesquisa mais ampla sobre inteligência epistêmica para dados estruturados.