FetalAgents: A Multi-Agent System for Fetal Ultrasound Image and Video Analysis

O artigo apresenta o FetalAgents, o primeiro sistema multi-agente que orquestra especialistas de visão computacional para analisar ultrassons fetais em vídeo e gerar relatórios clínicos estruturados, superando modelos existentes em precisão e adaptabilidade ao fluxo de trabalho clínico.

O essencial

Imagine que fazer um ultrassom fetal é como tentar montar um quebra-cabeça complexo e dinâmico, onde as peças são imagens de um bebê em movimento, e o objetivo é contar a história completa da saúde do bebê.

Até agora, os computadores eram como especialistas solitários: um era ótimo em desenhar o contorno do cérebro, outro era bom em medir a barriga, e um terceiro sabia dizer a idade do bebê. Mas nenhum deles conseguia olhar para a imagem inteira, entender o contexto e escrever o relatório final. O médico humano tinha que pegar os resultados de cada um, juntar tudo e escrever o laudo manualmente.

O FetalAgents é a solução para isso. Pense nele não como um único robô, mas como uma equipe de especialistas trabalhando em uma sala de reuniões, coordenados por um gerente de projeto muito inteligente.

Aqui está como funciona, passo a passo:

1. O Gerente (O Agente Coordenador)

Quando você entra na sala com uma imagem ou um vídeo do ultrassom, o Gerente (um cérebro de IA baseado em linguagem) é o primeiro a falar.

• Ele olha para a imagem e pergunta: "O que temos aqui? É um cérebro? É a barriga? É uma foto ou um vídeo?"
• Ele não tenta fazer tudo sozinho. Em vez disso, ele chama os especialistas certos para a mesa. Se precisa medir a cabeça, ele chama o "Especialista em Cabeça". Se precisa identificar o plano do ultrassom, ele chama o "Especialista em Planos".

2. A Equipe de Especialistas (Os Agentes de Visão)

Estes são os "braços" do sistema. Eles são modelos de computador treinados especificamente para tarefas difíceis:

• O Cartógrafo: Identifica qual ângulo do ultrassom está sendo usado (ex: "Isso é um corte transversal do cérebro").
• O Desenhista: Desenha linhas precisas ao redor do estômago, da cabeça ou da barriga do bebê (segmentação).
• O Medidor: Usa essas linhas para calcular medidas exatas, como o tamanho da cabeça ou a idade gestacional.
• O Analista de Vídeo: Se você der um vídeo contínuo (como uma filmagem de 1 minuto), ele sabe pular as partes sem importância e pegar apenas os quadros-chave (os melhores momentos da filmagem) para analisar.

3. O Redator (O Agente de Resumo)

Depois que os especialistas fazem seu trabalho, eles passam os dados para o Redator.

• O Redator pega todas as medidas, todas as observações e os dados do paciente (como a data da última menstruação).
• Ele escreve um relatório médico completo e estruturado, como se fosse um médico experiente.
• O Truque de Segurança: O Redator também faz uma verificação de realidade. Se o especialista disser que o bebê tem 20 semanas, mas a medida da cabeça é muito pequena para essa idade, o Redator percebe a inconsistência, pede para reavaliar e corrige o relatório antes de entregá-lo.

Por que isso é revolucionário?

• De Imagens Estáticas para Vídeos Reais: A maioria das IAs atuais só olha para uma foto parada. O FetalAgents entende que o ultrassom é um vídeo. Ele consegue assistir a filmagem inteira, escolher os melhores momentos e resumir tudo, exatamente como um técnico humano faria.
• Trabalho em Equipe vs. Solitário: Em vez de confiar em um único modelo que tenta ser bom em tudo (e acaba sendo mediano em tudo), o FetalAgents usa a força de vários modelos especializados trabalhando juntos. É como ter um time de futebol onde cada jogador joga na sua posição, em vez de um jogador tentando ser goleiro, atacante e zagueiro ao mesmo tempo.
• Relatórios Prontos: O sistema não apenas dá números; ele escreve o laudo final, comparando as medidas com padrões de crescimento saudáveis e dizendo ao médico: "Tudo normal" ou "Atenção aqui".

Em resumo

O FetalAgents é como transformar um grupo de técnicos de ultrassom solitários em uma orquestra perfeita. O maestro (o Coordenador) garante que cada músico (os Especialistas) toque na hora certa, e o compositor (o Redator) escreve a sinfonia final (o relatório clínico).

Isso significa que, no futuro, os médicos poderão ter um assistente que não apenas vê o que o olho humano vê, mas que organiza, mede, verifica e escreve o diagnóstico com a precisão de uma equipe inteira, economizando tempo e reduzindo erros.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "FetalAgents: A Multi-Agent System for Fetal Ultrasound Image and Video Analysis", apresentado em português:

1. O Problema

A ultrassonografia fetal (US) é o método de imagem primário para a triagem pré-natal, mas sua interpretação depende fortemente da expertise do clínico. As limitações atuais incluem:

• Escassez de especialistas: A falta de ultrassonografistas experientes amplia as disparidades na qualidade do cuidado.
• Fragmentação de fluxos de trabalho: As ferramentas automatizadas existentes (baseadas em deep learning e modelos de fundação) são geralmente especializadas em tarefas únicas (ex: apenas classificação de planos ou apenas segmentação). Elas não conseguem orquestrar um fluxo de trabalho clínico completo, exigindo que o médico selecione manualmente as ferramentas e traduza as previsões em documentação estruturada.
• Limitação temporal: A maioria dos modelos analisa apenas imagens estáticas, ignorando a natureza contínua e temporal dos exames de ultrassom em vídeo, onde a extração de quadros-chave e a síntese de relatórios são processos manuais e intensivos.

2. Metodologia: O Sistema FetalAgents

O FetalAgents é o primeiro sistema multi-agente projetado para análise abrangente de ultrassom fetal. Ele utiliza o framework AutoGen para integrar modelos de visão especializados com agentes de linguagem (LLMs), criando um fluxo de trabalho clínico alinhado. O sistema é composto por três módulos principais:

A. Arquitetura de Agentes

1. Agente Coordenador (Coordinator): Baseado no GPT-5-mini, atua como o orquestrador central. Ele interpreta a consulta do usuário e a imagem/vídeo de entrada, classifica o tipo de tarefa (ex: medição, relatório), identifica o plano anatômico padrão e despacha as tarefas para os especialistas relevantes, gerando prompts estruturados.
2. Agentes Especialistas (Expert Agents): Módulos dedicados a tarefas clínicas específicas. Cada especialista encapsula um conjunto de modelos de visão (ensemble) e aplica regras de fusão determinísticas para gerar resultados robustos. Eles comunicam-se exclusivamente via formatos JSON estruturados para evitar alucinações.
   • Classificação de Planos: Ensemble de FetalCLIP, FU-LoRA, ResNet-50 e ViT.
   • Segmentação Anatômica: Combinações de nnU-Net, USFM e SAMUS para cabeça, abdômen e estômago.
   • Biometria Fetal: Medição do Ângulo de Progressão (AoP), Circunferência Cefálica (HC) e Circunferência Abdominal (AC) usando modelos adaptados e regressão.
3. Agente Resumidor (Summarizer): Agrega as saídas estruturadas dos especialistas e notas de decisão para gerar um relatório clínico coerente e legível. Ele atua como uma salvaguarda final, verificando a consistência das medições biométricas com as curvas de crescimento da OMS e solicitando reavaliação se houver discrepâncias.

B. Funcionalidades Avançadas

• Geração de Legendas de Imagem: Sintetiza achados de múltiplos especialistas em um relatório estruturado, incluindo a verificação de percentis de crescimento.
• Resumo de Vídeo (Video Summarization): O sistema processa fluxos de vídeo contínuos, extrai automaticamente quadros-chave diagnósticos (usando um modelo fine-tuned baseado em FetalCLIP), analisa cada quadro com os especialistas e agrega os achados temporais em um relatório clínico holístico.

3. Principais Contribuições

• Primeiro Sistema Multi-Agente para US Fetal: Transição de modelos de "ponto único" (single-task) para um sistema colaborativo que emula o raciocínio holístico do ultrassonografista humano.
• Fluxo de Trabalho End-to-End: Capacidade de lidar com desde a entrada de dados (imagem ou vídeo) até a geração de um relatório clínico estruturado, incluindo a integração de metadados do paciente (como a Data da Última Menstruação - LMP).
• Mecanismo de Validação Clínica: Implementação de verificações de consistência automática (ex: comparar a idade gestacional estimada pelo US com a LMP e verificar percentis de crescimento) para garantir a segurança do relatório.
• Suporte a Vídeo: Extensão da análise estática para a análise de fluxos de vídeo, automatizando a extração de quadros-chave e a síntese temporal.

4. Resultados Experimentais

O FetalAgents foi avaliado em 8 tarefas clínicas utilizando conjuntos de dados externos multicêntricos (incluindo dados africanos e conjuntos públicos como HC18, PSFHS, etc.), comparado a modelos de visão especializados, modelos de fundação (Foundation Models) e Grandes Modelos de Linguagem Multimodais (MLLMs).

• Classificação de Planos: Superou o melhor modelo standalone (FetalCLIP), alcançando 92,7% de precisão (vs. 91,4%) e um Kappa de Cohen de 0,903 na classificação de planos padrão.
• Segmentação Anatômica:
  • Abdômen: DSC de 0,937 e HD95 de 2,32 (melhoria de 44,8% no erro de distância em relação ao segundo melhor).
  • Estômago: DSC de 0,859, superando o nnU-Net.
• Biometria Fetal:
  • Medição de AC: Redução do Erro Absoluto Médio (MAE) de 9,94 mm para 5,53 mm e aumento da precisão dentro de 5% (Acc@5%) para 84,0%.
  • Previsão de Idade Gestacional (GA): Alcançou a maior taxa de validade (84,93%) e o menor MAE (1,23 semanas), superando significativamente modelos baseados apenas em regressão ou fundação.
• Qualidade do Relatório: Avaliações qualitativas mostraram que o sistema gera relatórios concordantes com especialistas humanos, identificando corretamente planos anatômicos, realizando biometria e verificando a consistência clínica.

5. Significado e Impacto

O FetalAgents representa um avanço significativo na automação da medicina fetal ao preencher a lacuna entre modelos de IA especializados e a complexidade do fluxo de trabalho clínico real.

• Padronização: Oferece uma solução auditável e consistente, reduzindo a variabilidade inter-observador.
• Eficiência: Automatiza tarefas laboriosas, como a revisão de vídeos e a redação de relatórios, potencialmente aliviando a carga de trabalho dos profissionais de saúde.
• Escalabilidade: A arquitetura baseada em agentes permite a fácil integração de novos modelos de visão ou tarefas clínicas sem reescrever todo o sistema.
• Aplicabilidade Clínica: Ao lidar com dados de múltiplos centros e modalidades (imagem e vídeo), o sistema demonstra robustez para cenários do mundo real, sendo um passo crucial rumo à implementação clínica de IA em ultrassonografia.

O código-fonte do projeto está disponível publicamente, facilitando a reprodução e o desenvolvimento futuro na área.