PathReportEval: A Systematic Benchmark for Pathology Report Generation

Resumo Técnico: PathReportEval

Declaração do Problema

A geração de laudos patológicos a partir de imagens de lâmina inteira (WSIs) é uma tarefa crítica de aprendizado multimodal, mas o progresso neste campo é dificultado pela falta de uma avaliação padronizada. Estudos existentes sofrem com configurações experimentais heterogêneas, utilizando diferentes conjuntos de dados, pipelines de pré-processamento, codificadores visuais e estratégias de decodificação, o que torna a comparação direta de arquiteturas de modelos não confiável. Além disso, o campo depende fortemente de métricas padrão de Geração de Linguagem Natural (NLG), como BLEU, ROUGE e METEOR. Essas métricas medem a sobreposição lexical, mas falham em avaliar a fidelidade clínica. Um laudo gerado pode atingir alta similaridade lexical com uma referência enquanto omite diagnósticos críticos, alucina achados ou afirma graus ou estágios de tumor incorretos — erros que são clinicamente consequentes, mas linguisticamente sutis.

Metodologia

Os autores introduzem o PathReportEval, um benchmark sistemático e um framework de avaliação projetado para padronizar a avaliação da geração de laudos de patologia.

1. Framework de Benchmarking Padronizado

O framework avalia quatro métodos de geração representativos em três conjuntos de dados distintos e três codificadores visuais de fundação de patologia sob um protocolo unificado:

• Conjuntos de Dados:
  • TCGA (PathText): Relatórios de grande escala e heterogêneos com maior ruído de anotação.
  • HistAI: Tecidos diversos de múltiplas instituições com estrutura moderada.
  • REG 2025: Relatórios mais curtos e semiestruturados com alta consistência e baixo ruído.
• Codificadores Visuais: Três modelos de fundação representando diferentes famílias: CONSOV1.5, UNI2-h e H-Optimus-1.
• Métodos de Geração:
  • WSI-Caption (MI-Gen): Abordagem de aprendizagem de múltiplas instâncias.
  • HistGen: Codificação hierárquica local-global com contexto cross-modal.
  • BiGen: Modelo aumentado por recuperação utilizando conhecimento externo.
  • SCOUT: Transformer sensível ao contexto com condicionamento de conceitos.
• Protocolo: Os autores reimplementaram todos os métodos em um código compartilhado PyTorch Lightning para eliminar a variância de implementação. O pipeline padroniza o pré-processamento, tokenização, extração de características (via TRIDENT), treinamento e decodificação.

2. Pontuação de Qualidade de Laudo Clínico (CRQS)

Para abordar as limitações das métricas lexicais, o artigo propõe o CRQS, uma métrica fundamentada clinicamente e inspirada em práticas de relatórios sinópticos (ex: College of American Pathologists). Em vez de comparar texto livre, o CRQS mapeia tanto os laudos de referência quanto os gerados em um esquema estruturado de atributos clínicos (ex: diagnóstico, grau, estágio, status de margem, envolvimento de linfonodo).

O CRQS decompõe a qualidade do laudo em quatro componentes interpretáveis:

1. Cobertura de Fatos Clínicos (CFC): A fração de campos clínicos de referência recuperados corretamente.
2. Recall de Informação Chave (KIR): A taxa de recuperação de atributos diagnósticos de alto impacto (diagnóstico, grau, estágio, etc.).
3. Taxa de Alucinação (HR): A proporção de fatos gerados não suportados pelo laudo de referência.
4. Pontuação de Discordância Clínica (CDS): A taxa de contradições diretas entre os valores gerados e os de referência para campos compartilhados.

A pontuação final é uma combinação ponderada desses componentes ($CRQS_{raw} = 0,30 \cdot CFC + 0,40 \cdot KIR + 0,20 \cdot (1-HR) + 0,40 \cdot (1-CDS)$), normalizada para o intervalo [0, 1]. O esquema de ponderação prioriza a recuperação de informações críticas e penaliza severamente a discordância clínica.

Resultados Principais

Os experimentos revelam discrepâncias significativas entre as métricas padrão de NLG e a correção clínica:

• Desalinhamento de Métricas: As métricas convencionais (BLEU, ROUGE, METEOR) possuem um alinhamento fraco com o CRQS. Modelos com pontuações lexicais semelhantes frequentemente exibem diferenças substanciais na precisão diagnóstica.
  • Exemplo: Em um caso, um modelo rebaixou uma lesão de HSIL/CIN2 para LSIL/CIN1. O METEOR atribuiu uma pontuação moderada (0,42), enquanto o CRQS identificou corretamente o erro crítico com uma pontuação negativa (-0,07). Por outro lado, um modelo usando terminologia diferente para uma condição benigna recebeu uma pontuação METEOR próxima de zero, mas um alto CRQS (0,91) por preservar o significado clínico.
• Dependência de Conjunto de Dados: O desempenho varia significamente conforme a estrutura do conjunto de dados.
  • TCGA: Exibiu CRQS mais baixo e alta taxa de alucinação (~0,5), sugerindo que as métricas lexicais superestimam a qualidade em dados não estruturados e ruidosos.
  • REG 2025: Mostrou um acordo mais forte entre as métricas lexicais e o CRQS, provavelmente devido à sua natureza semiestruturada.
• Sensibilidade do Codificador: Nenhum codificador visual único domina em todos os conjuntos de dados e métricas. Por exemplo, o UNI2-h teve melhor desempenho no REG 2025, enquanto o H-Optimus-1 mostrou força no TCGA e HistAI para métricas específicas. Isso destaca a necessidade de reportar explicitamente os efeitos do codificador em vez de apenas tirar a média deles.
• Desempenho dos Métodos: As classificações mudaram dependendo da métrica e do conjunto de dados. Por exemplo, no REG 2025, o SCOUT liderou nas métricas de NLG, enquanto o BiGen alcançou o maior CRQS.

Significância e Contribuições

O artigo argumenta que o progresso na geração de laudos de patologia deve ser medido pela correção clínica em vez da similaridade lexical. As contribuições dos autores são tríplices:

1. Benchmark Padronizado: Um protocolo de avaliação reprodutível através de múltiplos conjuntos de dados, codificadores e arquiteturas, eliminando variáveis de confusão das configurações experimentais.
2. Framework Modular: Um framework público e plug-and-play (disponível no repositório GitHub fornecido) que permite a integração rápida de novos modelos, conjuntos de dados e codificadores sob um pipeline consistente.
3. Métrica CRQS: Uma ferramenta de avaliação estruturada que vai além da sobreposição de texto superficial para avaliar a correção factual, a alucinação e a discordância clínica.

Os autores concluem que as métricas de NLG padrão são proxies insuficientes para a utilidade clínica. Ao fornecer um framework que expõe modos de falha, como diagnósticos omitidos e achados alucinados, o PathReportEval estabelece uma base para o desenvolvimento e avaliação de modelos que sejam verdadeiramente fiéis aos requisitos clínicos.