Resumo Técnico: EliSeg – Construção de Alvos Verificados para Segmentação de Anormalidades Baseada em Relatórios

Formulação do Problema

O artigo aborda a segmentação de anormalidades baseada em relatórios, uma tarefa na qual um modelo deve gerar máscaras de segmentação ao nível de pixel para anormalidades diretamente de um relatório de radiologia não filtrado e uma radiografia de tórax correspondente. Diferente da segmentação convencional condicionada ao alvo, que depende de um "oráculo de alvo oculto" (por exemplo, categorias predefinidas, pontos, caixas delimitadoras ou expressões de referência fornecidas antes da inferência), este cenário não fornece tais pistas.

O desafio central reside na natureza dos relatórios radiológicos, que são escritos para comunicação clínica e não como prompts de segmentação. Eles contêm achados que podem ser:

• Inelegíveis para segmentação: Negados, históricos (anteriores), incertos, resolvidos ou fora do escopo da segmentação.
• Complexos: Múltiplas anormalidades válidas podem coexistir e se sobrepor espacialmente.

Consequentemente, o modelo deve realizar uma etapa intermediária ausente: a construção do alvo. Ele deve determinar a elegibilidade do alvo, a cardinalidade (quantas máscaras gerar) e a correspondência entre achado e máscara antes de delinear as regiões. Métodos existentes frequentemente ignoram isso ao assumir que o alvo é conhecido ou ao usar uma abordagem de "extração seguida de segmentação", que falha em corrigir erros na extração do alvo (por exemplo, omitindo menções válidas ou segmentando menções inelegíveis) durante a fase de segmentação.

Metodologia: Estrutura EliSeg

Os autores propõem o EliSeg, uma estrutura estruturada de proposta–verificação–revisão que integra a construção do alvo com a geração de máscaras. O sistema opera sem identidades de alvo predefinidas, prompts ou pistas espaciais.

1. Ator com Restrição Gramatical

O Ator é um modelo multimodal que compreende um codificador de imagem, um modelo de linguagem causal (inicializado a partir do ROSALIA-7B com adaptação LoRA), um módulo de projeção e um decodificador de máscara.

• Entrada: Uma radiografia de tórax ($I$), a sentença atual do relatório ($r_t$) e o contexto precedente ($h_t$).
• Saída: Uma resposta estruturada incluindo uma ação ao nível da sentença ($SEG$, $REJ$ ou $SILENT$), uma cardinalidade de alvo ($K^A_t$) e máscaras provisórias.
• Restrição: O Ator utiliza decodificação com restrição gramatical para emitir uma sequência de tokens de controle (por exemplo, [SEG1], [SEG2]) correspondentes aos alvos propostos, limitando os slots máximos a $K_{max}=3$.
• Mecanismo: Cada token de segmentação atua como uma consulta semântica para o decodificador de máscara. O Ator não emite rótulos de achados explícitos; a identidade semântica é inferida a partir da representação condicionada ao relatório e de uma ordenação canônica de alvos.

2. Verificador Independente

Para abordar potenciais erros na construção de alvos do Ator, um Verificador independente é introduzido.

• Arquitetura: Um LLM apenas de texto congelado (Qwen2.5-VL-7B) que processa apenas o texto do relatório ($h_t, r_t$) sem acesso à imagem ou às saídas do Ator.
• Função: Ele gera deterministicamente um registro estruturado do "inventário de achados elegíveis", classificando os achados como positivos, negados, anteriores, incertos ou ausentes.
• Saída: Uma lista verificada de alvos elegíveis ($L^V_t$) e sua cardinalidade ($K^V_t$).

3. Portão de Consistência e Revisão

Um portão determinístico compara a ação/cardinalidade proposta pelo Ator com o inventário inferido pelo Verificador.

• Concordância: Se as ações e cardinalidades coincidirem, a saída original do Ator é mantida.
• Discordância: Se houver discordância, o módulo de Revisão intervém. Ele constrói uma sequência de controle corrigida baseada no inventário do Verificador (limitada a $K_{max}$) e reexecuta o Ator compartilhado em uma passagem de forward pass forçada pelo professor (teacher-forced).
• Característica Principal: Esta reexecução gera as máscaras finais usando o mesmo codificador de imagem e decodificador, mas com uma estrutura de alvo corrigida. Nenhum novo parâmetro é aprendido durante esta etapa, e nenhum rótulo de achado explícito é injetado no Ator; a correspondência semântica é reconstruída via ordenação canônica.

Principais Contribuições

1. Formulação do Problema: Os autores formalizam a segmentação baseada em relatórios como um processo de duas etapas: construção do alvo seguida de delineamento espacial, expondo explicitamente a dependência de um "oráculo de alvo oculto" em protocolos convencionais.
2. Estrutura EliSeg: Eles propõem uma arquitetura inovadora que corrige erros de elegibilidade de alvo e cardinalidade sem exigir identidades de alvo ou prompts espaciais durante a inferência. Combina exclusivamente um Ator com restrição gramatical com um Verificador independente apenas de texto e um mecanismo de revisão condicional.
3. Avaliação Sem Oráculo: O artigo estabelece um protocolo de avaliação que não depende de alvos predefinidos, demonstrando que o EliSeg pode rejeitar efetivamente menções inelegíveis e segmentar achados válidos diretamente de relatórios brutos.

Resultados Experimentais

Os experimentos foram conduzidos no MIMIC-CXR-ILS (para segmentação baseada em relatórios) e no CheXlocalize (para transferência zero-shot).

Desempenho no MIMIC-CXR-ILS

• Segmentação Geral: O EliSeg supera os métodos diretos de segmentação baseada em texto (ex: GSVA, MedCLIP-SAMv2, BiomedParse) e as cascatas de extração seguida de segmentação (ex: CheXbert seguido de ROSALIA) em todas as métricas (IoU, Dice, NSD, HD95).
  • Configuração Inferida por Relatório: O EliSeg alcançou um IoU de 59.4 e Dice de 74.5, superando significativamente o melhor baseline (ROSALIA: IoU 40.8, Dice 57.9) e a abordagem em cascata (CheXbert→ROSALIA: IoU 53.9, Dice 70.0).
• Capacidade de Rejeição: O EliSeg suprime efetivamente as máscaras para menções de relatório inelegíveis (negadas, anteriores, incertas). Alcançou uma Taxa de Segmentação Falsa (FSR) de 14.2%, enquanto mantinha o maior IoU+ (60.8) em alvos elegíveis. Em contraste, os baselines sem um front-end de elegibilidade frequentemente produziam máscaras para menções inelegíveis (FSR ~100% para alguns métodos).
• Estudos de Ablação: A remoção do Verificador ou do módulo de Revisão degradou significativamente o desempenho. O ciclo completo melhorou o IoU em ~4.5–5.1 pontos e o Dice em ~5.9–6.4 pontos em comparação com configurações parciais, confirmando os papéis complementares da verificação (correção semântica) e da revisão (reexecução espacial).

Transferência Zero-Shot

Avaliado no CheXlocalize (que carece de relatórios pareados), o Ator do EliSeg sozinho (sem Verificador/Revisão) demonstrou forte transferibilidade. Alcançou o melhor desempenho entre todos os modelos testados (IoU 31.9, Dice 48.8, HD95 267.5), mostrando particularmente uma redução substancial nos erros de borda (HD95) em comparação ao ROSALIA.

Significância e Alegações

O artigo afirma que o EliSeg consegue preencher a lacuna entre a compreensão de relatórios radiológicos e a segmentação ao nível de pixel sem depender de informações privilegiadas de alvo.

• Correção de Erros Estruturais: Ao integrar verificação e revisão, o modelo corrige erros de elegibilidade de alvo e cardinalidade que as abordagens em cascata não conseguem corrigir uma vez que a etapa de extração foi concluída.
• Robustez à Ambiguidade: A estrutura lida efetivamente com a ambiguidade dos relatórios radiológicos (negação, histórico, incerteza) ao construir explicitamente o conjunto de alvos elegíveis antes da geração da máscara.
• Generalização: Os resultados sugerem que a capacidade de segmentação baseada em imagem do Ator é robusta e transfere-se efetivamente para conjuntos de dados externos, mesmo quando o ciclo completo de verificação não pode ser aplicado devido à ausência de relatórios.

Os autores concluem que o EliSeg demonstra que a localização precisa de anormalidades é alcançável diretamente de relatórios não filtrados, eliminando a necessidade de identidades de alvo ou prompts espaciais durante a inferência.