Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

Resumo Técnico: Governança de Percepção-Raciocínio Sinérgica (SPRG)

Definição do Problema
Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstram um potencial significativo para o Questionamento Visual (VQA) clínico e geração de laudos radiológicos. No entanto, sua implementação em ambientes médicos de alto risco é dificultada por "alucinações", especificamente interpretações visuais errôneas onde os modelos geram conclusões fluentes que contradizem ou carecem de suporte das evidências de imagem. As estratégias de mitigação existentes frequentemente dependem de treinamento adicional, bases de conhecimento externas ou verificação pós-hoc multiestágio complexa. Essas abordagens aumentam os custos computacionais, a complexidade do pipeline e muitas vezes falham em generalizar entre diferentes modelos e tarefas clínicas. Além disso, muitos métodos atuais dependem de calibração estatística interna sem um embasamento anatômico explícito, limitando sua robustez.

Metodologia
Os autores propõem a Governança de Percepção-Raciocínio Sinérgica (SPRG), uma estrutura holística e livre de treinamento (training-free) projetada para mitigar alucinações no tempo de inferência através da injeção de evidência de duplo lado. A estrutura opera em três componentes principais:

1. Extração de Evidência Anatômica:
   O sistema utiliza o MedSAM (um modelo Segment Anything adaptado para imagens médicas) para extrair evidências anatômicas verificáveis. Dado um conjunto de caixas delimitadoras (bounding boxes) candidatas, o MedSAM gera máscaras de segmentação. Estas são processadas em um conjunto de prior de Região de Interesse (ROI) determinístico, $\mathcal{R}$, consistindo em máscaras de segmentação, caixas delimitadoras e rótulos semânticos anatômicos derivados do contexto clínico.

2. Mecanismo de Intervenção de Percepção-Raciocínio:
   A estrutura intervém tanto nas trajetórias visuais quanto textuais do MLLM:

   • Injeção de Evidência no Lado Textual: Os priors de ROI são convertidos em descritores de região estruturados (rótulos anatômicos, coordenadas e dimensões) e serializados em tokens semânticos discretos. Esses tokens são injetados diretamente no prompt textual ($\tilde{q}$) antes que o modelo gere uma resposta. Isso ancora a trajetória de raciocínio textual com uma memória externa verificável.
   • Recalibração de Ativação no Lado Visual: O sistema computa a densidade de cobertura espacial das máscaras de ROI sobre os tokens de patches visuais. Uma máscara suave (soft-mask) é aplicada às características visuais ($\tilde{V}$) para modular as ativações. Características correspondentes a áreas fora da ROI são atenuadas (via um fator $\beta$), enquanto as características alinhadas à ROI são preservadas ou intensificadas (via um fator $\alpha$). Isso suprime o ruído de fundo e o colapso estrutural fora da distribuição, efetivamente "excisando" vias visuais espúrias.
   • Modulação Conjunta: Ambas as estratégias podem ser aplicadas simultaneamente para impor uma regularização complementar.

3. Roteador Dinâmico Sensível à Tarefa:
   Reconhecendo que diferentes tarefas clínicas possuem sensibilidades variadas em relação às restrições visuais versus textuais, os autores introduzem um roteador leve e de custo zero (zero-overhead). Com base em uma classificação zero-shot da pergunta de entrada em quatro categorias — Anatomia (CA), Medição (CM), Sintoma (CS) e Características Radiológicas (CR) — o roteador seleciona dinamicamente a intervenção ideal:

   • Anatomia: Recalibração do lado visual (localização espacial).
   • Medição/Sintoma: Injeção no lado textual (ancoragem semântica precisa).
   • Características Radiológicas: Estratégia conjunta (raciocínio cross-modal complexo).

Principais Contribuições

1. Estrutura Inovadora: Introdução de uma estrutura livre de treinamento que mitiga alucinações ao injetar evidência anatômica verificável de duplo lado, unindo a percepção visual bruta ao raciocínio clínico.
2. Mecanismo de Intervenção: Desenvolvimento de um mecanismo que recalibra a percepção visual via modulação de ativação guiada por ROI e ancora o raciocínio textual via tokens semânticos discretos derivados de coordenadas anatômicas.
3. Roteamento Dinâmico: Proposta de um roteador sensível à tarefa que ajusta as estratégias de intervenção com base na semântica da tarefa, equilibrando o embasamento perceptual e a fluência linguística.
4. Avaliação Abrangente: Estabelecimento de uma avaliação rigorosa entre modelos e tarefas envolvendo 2 tarefas, 5 conjuntos de dados e 6 MLLMs (incluindo LLaVA-1.5, LLaVA-Med, Qwen3-VL e InternVL-3.5).

Resultados
Experimentos extensivos nos conjuntos de dados MM-VisHal (SLAKE, VQA-RAD) e CXR-VisHal (IU-Xray, MIMIC-CXR) demonstram a eficácia da estrutura:

• Tarefas de Resposta Fechada (Close-ended): A estrutura supera consistentemente os baselines em todos os MLLMs testados. A estratégia de roteamento dinâmico alcançou as maiores melhorias de precisão geral, com ganhos de +3,2% no MM-VisHal e +2,4% no CXR-VisHal. Estratégias específicas mostraram forças específicas de domínio: a injeção no lado textual dominou a precisão geral, as restrições do lado visual foram excelentes em perguntas relacionadas à anatomia, e a estratégia conjunta teve o melhor desempenho para características radiológicas.
• Tarefas de Resposta Aberta (Open-ended): Na tarefa de geração de laudos do MIMIC-CXR, a intervenção do lado visual alcançou a menor taxa de alucinação (escore CHAIR de 12,76%), reduzindo significativamente as interpretações visuais errôneas. A intervenção do lado textual manteve alta revocação (recall) e melhorou a qualidade narrativa (RaTEScore). A estratégia conjunta ofereceu um forte equilíbrio entre a supressão de alucinações e a completude do laudo.
• Estudos de Ablação: Os resultados confirmaram que as melhorias dependem do embasamento espacial específico das coordenadas de ROI (caixas delimitadoras aleatórias degradaram o desempenho) e que a configuração ideal de peso visual é $(\alpha=1.0, \beta=0.1)$.

Significância
O artigo afirma que o SPRG fornece um caminho prático e livre de treinamento para a geração controlável e visualmente fundamentada em fluxos de trabalho clínicos. Ao aproveitar a evidência anatômica verificável extraída via MedSAM, o método aborda a barreira crítica de saídas inconsistentes com a evidência sem exigir o retreinamento do modelo ou sistemas complexos de recuperação externa. Os autores enfatizam que sua abordagem oferece robustez superior sobre os baselines existentes, melhorando a precisão do raciocínio de resposta fechada em até ~6% e reduzindo as alucinações de resposta aberta em ~35%, aumentando assim a confiabilidade dos MLLMs na tomada de decisões médicas de alto risco.