Resumo Técnico: Framework BODHI para IA Curiosa e Humilde em Suporte à Decisão Clínica

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem limitações significativas quando aplicados ao suporte à decisão clínica, caracterizadas principalmente pela excesso de confiança e raciocínio inflexível. Apesar da alta capacidade de reconhecimento de padrões estatísticos, os LLMs frequentemente confundem confiança com compreensão médica, produzindo saídas declarativas mesmo quando a evidência é insuficiente. Esse comportamento contribera para o viés de automação, onde clínicos podem deferir a sugestões incorretas da IA, e para o comportamento de sicofantismo, onde os modelos cumprem solicitações médicas ilógicas.

As abordagens existentes para mitigar esses problemas são insuficientes:

• Quantificação de Incerteza (UQ): Métodos como a predição conformal estimam a incerteza, mas falham em modificar o comportamento ou o estilo de comunicação do modelo quando a incerteza é alta.
• Cadeia de Pensamento (CoT): Embora melhore a precisão do raciocínio, a CoT padrão otimiza para a correção em vez de uma conduta epistêmica apropriada (ex: admitir incerteza).
• Ajuste Fino (Fine-tuning): Abordagens como o ConfiDx exigem modificação do modelo, limitando a implantação prática e a generalização.
• Frameworks Conceituais: Trabalhos anteriores pediram a "humildade epistêmica" como um princípio de design, mas não forneceram implementações de engenharia concretas para operacionalizar essas virtudes.

O problema central é o hiato entre as propostas filosóficas de uma IA humilde e a realidade da engenharia de implantar LLMs que possam restringir confiavelmente seu comportamento para se alinhar com virtudes epistêmicas sem mudanças arquitetônicas.

2. Metodologia: O Framework BODHI

Os autores propõem o BODHI (Balanced, Open-minded, Diagnostic, Humble, and Inquisitive — Equilibrado, Aberto, Diagnóstico, Humilde e Inquisitivo), um framework de engenharia que operacionaliza a curiosidade e a humildade através de um protocolo de cadeia de pensamento de duas passagens. O framework não requer ajuste fino do modelo; ele funciona via prompting estruturado.

2.1 Arquitetura Central

O framework opera através de seis etapas integradas:

1. Avaliação de Complexidade Clínica: Avalia a consulta quanto à ambiguidade diagnóstica, urgência e completude dos dados.
2. Avaliação de Confiança Prévia: Estima o estado epistêmico do modelo com base na cobertura da distribuição de treinamento.
3. Processamento Paralelo:
   • Módulo de Curiosidade: Identifica lacunas de informação e gera perguntas de esclarecimento.
   • Módulo de Humildade: Avalia limites de confiança e gatilhos para deferência.
4. Matriz de Ativação de Virtudes (VAM): Mapeia a complexidade clínica contra a confiança do modelo para selecionar uma de quatro posturas epistêmicas:
   • Q1 (Prosseguir e Monitorar): Alta confiança, baixa complexidade.
   • Q2 (Observar e Alternativas): Alta confiança, alta complexidade.
   • Q3 (Esclarecer e Revisar): Baixa confiança, baixa complexidade (dispara alta curiosidade/humildade).
   • Q4 (Escalar e Reenquadrar): Baixa confiança, alta complexidade (dispara humildade deferente e escalonamento).
5. Geração de Resposta Adaptativa: Gera respostas baseadas na postura selecionada.
6. Aprendizado Contínuo: Incorpora o feedback do clínico para refinar os limiares.

2.2 O Protocolo de Duas Passagens

• Passagem 1 (Análise Estruturada): O modelo gera uma análise interna e auditável contendo sete campos obrigatórios: Tipo de Tarefa, Público, Hipótese Primária, Incertezas Chave, Perguntas de Esclarecimento (1–2 exigidas para casos não emergenciais), Sinais de Alerta (Red Flags) e Recomendações Seguras. Isso torna o estado epistêmico explícito.
• Passagem 2 (Saída Restrita): O modelo gera a resposta voltada ao clínico condicionada à Passagem 1. Ele aplica Restrições Epistêmicas Transversais:
  • Especificidade: Usar números/prazos concretos onde disponíveis.
  • Inquérito Ativo: Converter afirmações condicionais em perguntas diretas.
  • Alternativas: Apresentar diagnósticos diferenciais quando a confiança estiver abaixo do limiar.
  • Roteamento de Tarefa: Ajusta o comportamento com base no contexto (Modos de Emergência, Técnico, Híbrido ou Conversacional).

2.3 Design de Avaliação

• Dataset: 200 vinhetas clínicas desafiadoras do HealthBench Hard, selecionadas por casos que exigem julgamento matizado onde modelos de linha de base apresentam desempenho inferior.
• Modelos: GPT-4.1-mini e GPT-4o-mini.
• Design Experimental: Avaliado através de 5 sementes aleatórias (42–46) com 200 casos cada, totalizando 1.000 observações por modelo.
• Condições: Linha de base (prompting padrão) vs. BODHI (protocolo de duas passagens).
• Métricas: Pontuação geral do HealthBench, Taxa de Busca de Contexto (proporção de respostas com perguntas de esclarecimento), Frequência de Hedging (atenuamento), Pontuação de Utilidade e Segurança, Taxa de Encaminhamento de Emergência e Qualidade de Comunicação.
• Estatística: Reamostragem bootstrap não paramétrica (10.000 iterações), testes t pareados e computação do tamanho do efeito de Cohen's d.

3. Resultados Principais

O estudo demonstra que o BODHI altera significativamente o comportamento do LLM em direção às virtudes epistêmicas sem modificação do modelo.

3.1 Resultados Primários

• Qualidade Clínica Geral:
  • GPT-4.1-mini: Melhorou de 2,5% para 19,1% (+16,6 pontos percentuais, $p < 0,0001$).
  • GPT-4o-mini: Melhorou de 0,0% para 2,2% (+2,2 pontos percentuais, $p < 0,0001$).
• Curiosidade (Busca de Contexto):
  • GPT-4.1-mini: Aumentou de 7,8% para 97,3% (+89,6pp). Tamanho do efeito (Cohen's $d$) = 16,38 (Muito Grande).
  • GPT-4o-mini: Aumentou de 0,0% para 73,5% (+73,5pp). Tamanho do efeito (Cohen's $d$) = 19,54 (Muito Grande).
• Humildade (Hedging):
  • GPT-4.1-mini: Aumentou de 1,7% para 21,9% (+20,3pp, $d = 5,80$).
  • GPT-4o-mini: Aumentou de 0,8% para 5,2% ($d = 1,16$).
• Segurança: As taxas de encaminhamento de emergência aumentaram significamente para ambos os modelos (ex: GPT-4.1-mini de 12,3% para 28,6%).

3.2 Trade-offs (Compensações)

• Qualidade de Comunicação: As pontuações diminuíram para ambos os modelos (GPT-4.1-mini: -12,5pp; GPT-4o-mini: -11,3pp). Os autores atribuem isso à mudança de afirmações declarativas confiantes para saídas matizadas que contêm perguntas. Eles argumentam que este é um trade-off apropriado para domínios clínicos de alto risco, onde o excesso de confiança representa riscos maiores do que respostas verbosas e atenuadas.
• Capacidade do Modelo: O GPT-4.1-mini mostrou ganhos maiores em pontuação geral e comportamento de hedging comparado ao GPT-4o-mini, sugerindo que a capacidade do modelo influencia a eficácia das restrições epistêmicas.

3.3 Reprodutibilidade

O desempenho foi consistente em todas as 5 sementes aleatórias. Para o GPT-4.1-mini, as taxas de busca de contexto sob o BODHI variaram de 92,9% a 100,0%, com três sementes atingindo 100%. Isso indica que os efeitos do framework são robustos e não artefatos de amostragem específica.

4. Principais Contribuições

1. Operacionalização de Virtudes Epistêmicas: O artigo fornece o primeiro framework baseado em prompting que demonstra empiricamente a capacidade de restringir LLMs para exibir curiosidade (coleta de informações) e humildade (atenuamento/deferência) em contextos clínicos.
2. Implementação de Engenharia: Diferente de trabalhos anteriores que discutem humildade epistêmica conceitualmente ou exigem ajuste fino, o BODHI oferece um protocolo de cadeia de pensamento de duas passagens que é imediatamente implantável via prompting.
3. Matriz de Ativação de Virtudes: Uma lógica de decisão inovadora que mapeia a complexidade clínica e a confiança do modelo para posturas comportamentais específicas (Prosseguir, Observar, Esclarecer, Escalar).
4. Validação Empírica: Demonstra tamanhos de efeito "muito grandes" (Cohen's $d > 1,2$) em métricas de curiosidade e humildade, provando que a modificação comportamental é possível ao nível de prompting.

5. Significância e Alegações

Os autores alegam que o BODHI oferece um caminho para uma implantação de IA clínica mais segura, garantindo que os sistemas operem como parceiros colaborativos que sabem quando fazer perguntas e quando deferir, em vez de serem "oráculos excessivamente confiantes".

• Segurança sobre Confiança: O framework prioriza a segurança epistêmica (reconhecer a incerteza) sobre a aparência de confiança, abordando o risco de viés de automação, onde clínicos seguem conselhos incorretos da IA devido a altas pontuações de confiança.
• Escalabilidade: Como depende de prompting e não de retreinamento de modelo, o framework pode ser aplicado em diferentes variantes de modelos e domínios clínicos sem o custo computacional do ajuste fino.
• Limitações Reconhecidas: Os autores notam modestamente limitações, incluindo a dependência de um único benchmark (HealthBench Hard), a avaliação de apenas dois modelos de um único provedor e a ausência de validação com o clínico no loop. Eles reconhecem que a arquitetura de duas passagens aumenta a latência e que a eficácia do framework pode variar entre diferentes contextos institucionais.

O artigo conclui que, embora exista um trade-off de qualidade-segurança (redução nas pontuações de comunicação), este é um ajuste necessário e apropriado para o suporte à decisão médica de alto risco, alinhando o comportamento da IA com as virtudes epistêmicas necessárias para uma colaboração segura entre humanos e IA.