Resumo Técnico: Avaliação Contrafactual Revela Perfis de Capacidade Ocultos em LLMs e Agentes Clínicos

Declaração do Problema

Os paradigmas atuais de avaliação para Grandes Modelos de Linguagem (LLMs) e agentes clínicos baseiam-se fortemente em métricas de cobertura, como similaridade de strings ou rubricas de "LLM-como-juiz" que comparam saídas com comportamentos de referência. Essas métricas perguntam: "O resultado parece correto?", mas falham em abordar: "O modelo está atualizando sua saída pelos motivos certos?".

Essa limitação é crítica em ambientes clínicos, onde dois sistemas podem pontuar identicamente em métricas de cobertura, mas comportar-se de maneira radicalmente diferente sob mudanças nos inputs do paciente. Por exemplo, uma IA de oncologia pode propor um tratamento padrão (ex: FOLFIRINOX) para um caso de câncer pancreático, independentemente de o paciente ser virgem de tratamento ou ter falhado em terapias prévias. Embora as métricas de cobertura (como o Consensus Match Score, CMS) possam recompensar essa consistência, elas não conseguem detectar a falta de responsividade causal. Esse problema é exacerbado em agentes que utilizam ferramentas, que podem recuperar informações corretas via chamadas de ferramenta (tool calls), mas ainda assim gerar recomendações que ignoram essa informação.

Metodologia

Os autores introduzem o Causal Sensitivity Score (CSS), uma métrica intervencional pré-registrada projetada para medir a responsividade comportamental de um modelo a mudanças clinicamente significativas nos dados de entrada.

1. Catálogo de Intervenções Pré-registradas

O estudo utiliza um catálogo de 12 intervenções em cinco famílias motivadas clinicamente, especificadas em formato YAML antes da avaliação para evitar o viés de seleção post-hoc:

• Família A (Inversão de Biomarcador): Substituir o status de HER2, ER ou PD-L1.
• Família B (Tratamento Prévio): Injetar um histórico de progressão em uma terapia de linha anterior.
• Família C (Supressão de Biomarcador): Deletar menções a biomarcadores específicos.
• Família D (Status de Cirurgia): Alternar o histórico de ressecção (ex: ressecado vs. não ressecado).
• Família E (Perturbação de Estágio): Alterar o estágio da doença.

2. Mecanismo de Pontuação

Para cada tupla de modelo, caso e intervenção, o sistema gera uma recomendação basal e uma recomendação intervencionada. Um LLM juiz (padronizado como gpt-5.4, com claude-opus-4-7 utilizado quando o sujeito é o próprio gpt-5.4 para evitar viés de auto-preferência) avalia se a recomendação atualiza na direção correata pré-registrada.

• Pontuação: {0.0, 0.5, 1.0} correspondendo a (sem mudança / reconhecido, mas inalterado / atualizado corretamente).
• Métrica: O CSS é a média das pontuações em todas as tuplas, calculada tanto de forma agregada quanto por família de intervenção.

3. Configuração Experimental

• Coorte: 224 casos de comitê de tumores oncológicos anotados por especialistas, com recomendações de tratamento de verdade fundamental (ground-truth).
• Modelos: Seis modelos de fronteira de três laboratórios avaliados em dois cenários:
  1. Inferência de LLM de disparo único (single-shot): Prompt direto e resposta.
  2. Agente com uso de ferramentas: Um agente estilo ReAct usando uma ferramenta read_chart_section para recuperar informações, onde as intervenções mutam os dados subjacentes recuperados pela ferramenta.
• Baseline: O Consensus Match Score (CMS), uma métrica de recall ponderada que mede a sobreposição com o consenso de especialistas.

Resultados Principais

1. Inversão de Ranking entre Métricas

O estudo encontrou um ranking quase oposto entre os modelos no CMS (cobertura) e no CSS (responsividade).

• Correlação: Spearman $\rho = -0.49$ (embora com baixo poder estatístico devido a $n=6$).
• Trocas de Ranking: Todos os seis modelos mudaram de posição. O modelo classificado em último no CMS (grok-4.20-reasoning) classificou-se em primeiro no CSS. Inversamente, o melhor modelo do CMS (gpt-5) caiu para quarto lugar no CSS.
• Falha Específica: O gpt-5.4 ficou em 4º no CMS, mas em último lugar (6º) no CSS.

2. Ponto Cego de Segurança Universal (Família D)

Um achado crítico foi uma falha universal entre todos os modelos de fronteira em relação às intervenções de status de cirurgia (Família D).

• Desempenho: Todos os modelos pontuaram $\le 17.2\%$ no CSS para esta família. O melhor performer (grok-4.20) obteve 17.2%, enquanto o pior (gpt-5.4) obteve 3.9%.
• Implicação: Nenhum dos modelos atualizou confiavelmente as recomendações de tratamento quando o status de ressecção do paciente mudou, um sinal de segurança clinicamente crítico que o CMS não conseguiu expor.

3. Transferência de Agente e Responsividade Estrutural

Ao serem avaliados como agentes de uso de ferramentas em um subconjunto de casos da Família D:

• Melhoria: O uso de ferramentas aumentou o CSS para cinco dos seis modelos (ganhos de +2.5 a +20.3 pontos percentuais).
• A Anomalia do gpt-5.4: O gpt-5.4 permaneceu inalterado (0.050 $\to$ 0.050), apesar de recuperar as mesmas seções do prontuário que os modelos responsivos. Isso sugere um déficit de responsividade estrutural em vez de uma falha de acesso à informação; o modelo recupera os dados, mas falha em integrá-los ao processo de raciocínio.

4. Validação

• Replicação por Juiz Cruzado: O uso do claude-opus-4-7 como juiz uniforme preservou a ordem de ranking ($\rho = +1.00$), confirmando que os achados não foram artefatos de viés do juiz.
• Validação Humana: Três profissionais médicos validaram um subconjunto de 100 tuplas. Embora a concordância por caso tenha sido moderada, as taxas de falha agregadas para a Família D alinharam-se de perto entre os juízes de LLM (0.10) e humanos (0.09).

Significância e Alegações

O artigo alega que o CSS serve como um complemento necessário à avaliação baseada em cobertura para IA clínica. Suas principais contribuições são:

1. Revelação de Perfis Ocultos: O CSS descobre perfis de capacidade (ex: sensibilidade ao status de cirurgia vs. inversões de biomarcadores) que métricas de cobertura agregadas obscurecem.
2. Detecção de Segurança: Identifica pontos cegos de segurança universais (especificamente em relação ao status de cirurgia) que as métricas padrão perdem porque não testam a mudança comportamental sob contrafatuais.
3. Avaliação de Agentes: O CSS transfere-se diretamente para agentes de uso de ferramentas, distinguindo entre modelos que falham por falta de acesso à informação versus aqueles com uma incapacidade estrutural de atualizar o raciocínio baseado nos dados recuperados.
4. Utilidade Futura: Os autores propõem o CSS como um candidato a sinal de "recompensa densa" (dense reward) para o futuro Aprendizado por Reforço (RL) de agentes, indo além do simples pareamento de saída estática para a responsividade dinâmica.

Os autores mantêm modéstia quanto à generalização dos achados específicos para todos os domínios médicos, observando que os resultados são específicos para casos de comitê de tumores oncológicos e que o pequeno tamanho da amostra ($n=6$ modelos) limita o poder estatístico de suas alegações de correlação de ranking. No entanto, afirmam que a metodologia de métricas intervencionais pré-registradas é robusta e essencial para avaliar agentes de IA clínica.