Multi-Modal Multi-Agent Reinforcement Learning for Radiology Report Generation: Radiologist-Like Workflow with Clinically Verifiable Rewards

---

1. O Problema

A geração automática de relatórios radiológicos (RRG) é uma tarefa crítica para aliviar a carga de trabalho dos radiologistas, mas os métodos existentes enfrentam desafios significativos:

• Limitação de Modelos Monolíticos: A maioria das abordagens de Aprendizado por Reforço (RL) otimiza um único modelo grande, o que não captura a complexidade do fluxo de trabalho real de um radiologista, que examina regiões anatômicas específicas antes de sintetizar um diagnóstico global.
• Sistemas de Agentes não Otimizados: Sistemas de agentes existentes geralmente são "treinamento-livre" (training-free), combinando modelos pré-treinados via prompting sem otimização end-to-end. Isso resulta em coordenação subótima e falta de adaptabilidade a fluxos de trabalho reais.
• Métricas de Avaliação Insuficientes: Métricas tradicionais de geração de linguagem natural (como BLEU) não se alinham bem com a avaliação clínica real. Métricas de eficácia clínica (CE) são necessárias, mas difíceis de otimizar diretamente em sistemas complexos.

2. Metodologia: MARL-Rad

Os autores propõem o MARL-Rad, um novo framework de Aprendizado por Reforço Multi-Modal Multi-Agente (MARL) que simula o fluxo de trabalho de um radiologista.

Arquitetura Multi-Agente

O sistema consiste em quatro agentes colaborativos:

1. Três Agentes Específicos de Região:
   • Agente da Região Esquerda: Foca no pulmão esquerdo, estruturas hiliares, ângulo costofrênico e clavícula esquerda.
   • Agente da Região Central: Foca no contorno cardíaco, mediastino, arco aórtico, traqueia e coluna.
   • Agente da Região Direita: Foca no pulmão direito, estruturas hiliares, ângulo costofrênico e clavícula direita.
2. Agente Integrador Global: Recebe as observações dos três agentes regionais, sintetiza os diagnósticos e gera o relatório final completo.

Otimização via RL (GSPO Multi-Agente)

• Algoritmo Base: O framework estende o GSPO (Group Sequence Policy Optimization), uma variante do GRPO (Group Relative Policy Optimization), para um cenário multi-agente.
• Treinamento Conjunto: Diferente de métodos anteriores que treinam agentes isoladamente ou apenas otimizam um agente central, o MARL-Rad realiza uma otimização on-policy conjunta de todo o sistema de agentes.
• Recompensas Clinicamente Verificáveis: O sistema é treinado usando recompensas baseadas em métricas objetivas e verificáveis, eliminando a necessidade de modelos de preferência humana:
  • CheXbert F1: Avalia a precisão na classificação de achados clínicos (ex: pneumonia, edema).
  • RadGraph F1: Avalia a consistência factual e relacional entre entidades clínicas e suas relações.
  • ROUGE-L: Garante naturalidade linguística.
• Função de Recompensa: A recompensa final é a soma não ponderada dessas três componentes, guiando todos os agentes a colaborarem para maximizar a precisão clínica global.

3. Principais Contribuições

1. Otimização End-to-End de Agentes Colaborativos: É a primeira abordagem a realizar otimização on-policy de todo um sistema multi-agente dentro de um fluxo de trabalho que espelha a prática real de radiologistas, superando métodos de agentes estáticos ou de RL monolítico.
2. Desempenho de Estado da Arte (SOTA) em Métricas Clínicas: O método alcançou os melhores resultados em métricas de eficácia clínica (CE) nos conjuntos de dados MIMIC-CXR e IU X-ray, superando modelos anteriores como R2Gen, MedGemma e DeepMedix-R1.
3. Melhoria na Consistência de Lateralidade: A decomposição do problema em agentes regionais específicos resolveu um problema comum em modelos de visão-linguagem: a confusão entre lados esquerdo e direito. O MARL-Rad demonstrou uma consistência superior na identificação de laterais (ex: "pulmão esquerdo" vs. "pulmão direito").
4. Relatórios Mais Detalhados e Precisos: A análise de casos mostrou que o sistema gera relatórios com maior riqueza de detalhes clínicos e melhor alinhamento com os relatórios de referência (ground truth), incluindo achados pós-cirúrgicos e observações globais que modelos monolíticos tendem a omitir.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados MIMIC-CXR e IU X-ray.

• Métricas de Eficácia Clínica (CE): O MARL-Rad superou consistentemente todos os baselines (incluindo modelos monolíticos com RL e sistemas de agentes sem RL) nas métricas RadGraph F1, CheXbert F1 e GREEN.
  • No MIMIC-CXR, alcançou um CheXbert F1 de 0.556 (vs. 0.523 do MedGemma) e RadGraph F1 de 0.316.
  • No IU X-ray, alcançou um CheXbert F1 de 0.516 e RadGraph F1 de 0.365.
• Generalização: O modelo, treinado apenas no MIMIC-CXR, demonstrou alta robustez e generalização cruzada ao ser avaliado no IU X-ray.
• Estudo de Ablação:
  • O fluxo de trabalho multi-agente sem RL performou pior que o modelo base (MedGemma), indicando que a simples decomposição em agentes não é suficiente sem otimização conjunta.
  • O RL aplicado a um único agente (sem decomposição) foi inferior ao MARL-Rad, provando que a arquitetura multi-agente traz benefícios reais.
• Análise de Lateralidade: O MARL-Rad obteve pontuações significativamente mais altas na sub-métrica de RadGraph focada em entidades de lateralidade, confirmando que a especialização regional melhora a precisão anatômica.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre IA médica e sistemas multi-agentes:

• Validação de Fluxos de Trabalho Clínicos: Demonstra que alinhar a arquitetura de IA ao fluxo de trabalho cognitivo humano (exame regional seguido de síntese global) e otimizá-lo conjuntamente via RL resulta em superioridade clínica.
• Superação da "Caixa Preta": Ao gerar diagnósticos regionais intermediários, o sistema oferece maior interpretabilidade, permitindo que clínicos verifiquem como cada região foi analisada, o que é crucial para a adoção clínica.
• Escalabilidade para Outras Modalidades: Embora focado em radiografia de tórax, o framework MARL-Rad é genérico e pode ser aplicado a outras modalidades de imagem médica (como ECG e ecocardiografia) e tarefas do mundo real que exigem raciocínio estruturado e colaborativo.

Em resumo, o MARL-Rad estabelece um novo padrão para a geração de relatórios radiológicos, provando que a combinação de arquiteturas multi-agentes inspiradas em humanos com otimização de reforço baseada em recompensas verificáveis é a chave para atingir a precisão clínica necessária na prática médica.