Resumo Técnico: Checkup2Action

Declaração do Problema

Exames clínicos de rotina geram relatórios complexos e multimodais que integram layouts visuais, resultados laboratoriais tabulares, biomarcadores numéricos, indicadores de anormalidade, achados de imagem e comentários livres de médicos. Embora esses documentos contenham informações críticas de saúde, leigos frequentemente têm dificuldade em interpretá-los devido à "lacuna de interpretabilidade" entre evidências clínicas heterogêneas e ações concretas do paciente. Pacientes frequentemente interpretam erroneamente pistas isoladas (por exemplo, setas ou rótulos de anormalidade) ou falham em sintetizar achados distribuídos em próximos passos priorizados. Modelos de Linguagem de Grande Porte (LLMs) existentes e agentes de IA médica mostraram promessa em sumarização e triagem, mas geralmente produzem explicações de forma livre ou rótulos de acuidade, em vez de planos de ação estruturados e orientados ao paciente. Além disso, benchmarks atuais carecem da capacidade de avaliar se os sistemas podem identificar consistentemente questões clinicamente relevantes, classificá-las por prioridade, recomendar departamentos apropriados e fornecer orientações seguras e acionáveis sem ultrapassar para papéis diagnósticos ou prescritivos.

Metodologia

O artigo apresenta Checkup2Action (C2A), um conjunto de dados multimodal e um benchmark projetados para avaliar a geração de "Cartões de Ação" estruturados a partir de relatórios de exames clínicos.

1. O Conjunto de Dados C2A

O conjunto de dados compreende 2.000 relatórios de exames do mundo real, desidentificados, em formato PDF. Cada relatório é um documento de várias páginas contendo:

• Cinco categorias principais: Informações Básicas (demografia/vitais), Exame Físico Geral, Exames Laboratoriais, Exames de Imagem e Testes Cardiovasculares.
• Complexidade multimodal: Os relatórios incluem layouts visuais, tabelas estruturadas, medições numéricas, indicadores de anormalidade, imagens incorporadas e resumos escritos por médicos.
• Anotações: Questões de referência e atributos de cartões de ação são derivados de resumos de relatórios escritos por médicos. O relatório médio contém 7,2 questões, com uma distribuição de prioridade de 7,4% Alta, 20,8% Média e 71,8% Baixa.

2. O Fluxo de Trabalho Checkup2Action

Os autores instanciam um fluxo de trabalho de base restrito (Figura 3) que transforma um relatório bruto em uma sequência ordenada de Cartões de Ação no formato JSON. O pipeline consiste em três etapas:

• Etapa 1: Ingestão do Relatório: O PDF de entrada é analisado e linearizado para extrair blocos de texto, tabelas e objetos de imagem, removendo ruído de layout.
• Etapa 2: Segmentação Multimodal: O conteúdo linearizado é organizado em seções estruturadas (por exemplo, testes laboratoriais, imagens) usando uma estratégia híbrida de análise baseada em ferramentas, localização baseada em regras e verificação por LLM.
• Etapa 3: Geração Restrita por Esquema: O modelo gera Cartões de Ação sob restrições comportamentais estritas. Cada cartão é uma tupla de 6 elementos contendo: problema, prioridade, porquê (explicação), departamento, sugestao_tempo e perguntas.
  • Restrição Crítica: O sistema é explicitamente proibido de fazer declarações diagnósticas definitivas ou prescrever tratamentos. Ele atua como um "tradutor de ação", reorganizando achados existentes em orientações de acompanhamento.

3. Protocolo de Avaliação

O benchmark emprega uma estrutura de avaliação de dois componentes:

• Consistência Estruturada: Mede o alinhamento com anotações de referência usando:
  • Recall/Precisão de Problema: Baseado na similaridade semântica (similaridade de cosseno $\tau=0,8$) entre questões geradas e de referência.
  • Precisão de Atributos: Precisão de Prioridade, Departamento e Tempo (correspondendo às categorias de referência).
  • Viés de Complexidade de Ação: Mede o desvio no número de cartões gerados versus cartões de referência.
• Qualidade Subjetiva: Dimensões avaliadas por humanos (escala de 1–5) cobrindo Relevância do Problema, Segurança, Utilidade, Clareza e Tom.

Resultados Principais

Experimentos foram conduzidos em vários LLMs de propósito geral e de domínio médico (incluindo GPT-5.1, variantes do Gemini, variantes do Claude e MedGemma-27B).

• Compensações no Desempenho: Nenhum modelo único dominou todas as métricas. O Gemini-3-pro-preview alcançou o maior Recall de Problema (0,602), mas ficou aquém na precisão de prioridade e no controle de complexidade de ação. O GPT-5.1 demonstrou o desempenho mais equilibrado, alcançando alta precisão em prioridade (0,719), departamento (0,844) e recomendações de tempo (0,915), juntamente com fortes pontuações subjetivas.
• Modelos Gerais vs. Médicos: Surpreendentemente, o modelo de propósito geral GPT-5.1 superou o modelo de domínio médico MedGemma-27B em métricas de decisão a jusante (prioridade, departamento e precisão de tempo). Os autores atribuem isso aos objetivos de treinamento de modelos gerais (alinhamento RLHF para seguimento de instruções e comunicação com leigos) serem mais adequados para a restrição "sem diagnóstico, apenas orientação de ação" do que modelos treinados principalmente em raciocínio diagnóstico profissional.
• Ablação de Segurança: A remoção de restrições de segurança aumentou significativamente o Recall de Problema (de 0,527 para 0,825), mas reduziu drasticamente as pontuações de Segurança e Relevância do Problema. Modelos sem restrições tenderam a produzir declarações diagnósticas (por exemplo, "câncer de pulmão em estágio inicial"), enquanto modelos restritos limitaram corretamente as saídas a achados objetivos e sugestões de acompanhamento.
• Qualidade Subjetiva: Modelos com maior recall não necessariamente produziram melhores pontuações subjetivas. O GPT-5.1 recebeu as maiores pontuações subjetivas gerais, enquanto modelos com comportamentos conservadores (como o Claude-haiku-4.5) mostraram alta segurança, mas menor utilidade devido à subgeração.

Significado e Contribuições

O artigo reivindica três contribuições principais:

1. Conjunto de Dados e Benchmark C2A: A introdução de um conjunto de dados multimodal do mundo real de 2.000 relatórios de exames com anotações de especialistas especificamente para a geração de Cartões de Ação orientados ao paciente.
2. Formulação de Tarefa Estruturada: A definição da geração de exame-para-ação como uma tarefa de geração estruturada restrita, acompanhada por um protocolo de avaliação abrangente que mede conjuntamente a cobertura de questões, priorização, recomendação de departamento/tempo e conformidade de segurança.
3. Fluxo de Trabalho de Base Restrito: A instanciação do Checkup2Action como um fluxo de trabalho que converte com sucesso evidências de múltiplas seções em cartões priorizados e voltados ao paciente, evitando estritamente saídas diagnósticas ou prescritivas de tratamento.

Os autores posicionam o Checkup2Action como um passo necessário para fechar a lacuna entre evidências clínicas complexas e ação do paciente. Eles enfatizam que o benchmark revela compensações claras entre cobertura de questões, correção de ação, concisão e alinhamento de segurança, sugerindo que pesquisas futuras devem focar no desenvolvimento de modelos dedicados para geração multimodal de exame-para-ação, em vez de depender exclusivamente de modelos médicos de propósito geral ou focados em diagnóstico.