🤖 machine learning

RADIANT-PET: Reasoning-Augmented PET/CT Lesion Segmentation with Large Language Models and Reinforcement Learning

O RADIANT-PET é um novo framework que aprimora a segmentação de lesões em PET/CT ao combinar um modelo permissivo de nível de voxel com um modelo de linguagem de grande escala otimizado por aprendizagem por reforço para adjudicar candidatos usando descrições textuais estruturadas e relatórios clínicos, reduzindo significamente os falsos positivos e alinhando as previsões com a interpretação clínica.

Autores originais: Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Publicado 2026-06-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar tesouros específicos e escondidos (lesões de câncer) dentro de um mapa 3D gigante e brilhante de um corpo humano (um exame de PET/CT). O problema é que o mapa está cheio de "ruído" — calor corporal natural, inflamação de um resfriado ou até falhas na câmera — que se parece exatamente com o tesouro que você está caçando.

Os programas de computador tradicionais tentam encontrar esses tesouros olhando apenas para a imagem. Eles são como um segurança que verifica apenas o formato de um objeto. Se parecer redondo e brilhante, eles sinalizam como um tesouro. Mas, como o corpo é bagunçado, esse segurança frequentemente confunde um calo inofensivo com um tesouro, levando a muitos alarmes falsos.

RADIANT-PET é um novo sistema que resolve isso adicionando um "detetive inteligente" à equipe. Veja como funciona, passo a passo:

1. O Batedor Entusiasta (Segmentação de Alta Sensibilidade)

Primeiro, o sistema usa um modelo de visão computacional especializado (chamado HS-UNet) para escanear o corpo. Pense neste modelo como um batedor ao qual foi dito: "Encontre tudo o que pode ser um tesouro. É melhor trazer de volta 100 pedras pensando que são pepitas de ouro do que perder uma única pepita de ouro real."

O Resultado: Este batedor encontra quase todas as lesões reais, mas também traz de volta uma enorme pilha de "falsos positivos" (partes normais do corpo que parecem suspeitas).

2. O Tradutor (Descrição Estruturada)

O sistema então pega cada ponto suspeito que o batedor encontrou e escreve um boletim detalhado para ele. Em vez de apenas mostrar uma mancha borrada, ele traduz a imagem em uma descrição de texto estruturada.

A Analogia: Imagine que o batedor aponta para um ponto brilhante e diz: "É um ponto brilhante e redondo localizado logo ao lado do rim esquerdo, com o formato de uma panqueca achatada, e está brilhando muito intensamente."
O sistema também adiciona contexto: "Este ponto está ao nível da 6ª costela." Ele transforma os dados visuais em uma história.

3. O Detetive Inteligente (O LLM)

É aqui que a mágica acontece. O sistema alimenta esses "boletins" em um Modelo de Linguagem de Grande Escala (LLM) — um tipo de IA que é muito boa em ler e raciocinar, de forma muito semelhante a como um médico humano pensa.

O Trabalho: O detetive lê o relatório: "Este ponto está ao lado do rim e parece uma panqueca achatada." Ele então usa seu conhecimento médico para decidir: "Ah, isso parece atividade renal normal, não um tumor. Descarte." Ou: "Isso parece um tumor real. Mantenha-o."
O Bônus: Se o paciente tiver um relatório escrito por um médico (um relatório de radiologia), o detetive também pode ler isso! Ele pode cruzar a descrição da imagem com as notas do médico, como um detetive verificando o depoimento de uma testemunha contra a cena do crime.

4. O Campo de Treinamento (Aprendizado por Reforço)

Para tornar o detetive ainda mais afiado, os autores o treinaram usando um método chamado Aprendizado por Reforço (especificamente GRPO).

A Analogia: Imagine o detetive como um estudante fazendo uma prova. Toda vez que ele identifica corretamente um tumor real ou descarta corretamente um falso positivo, ele recebe uma "estrela de ouro" (uma recompensa). Toda vez que ele comete um erro, ele recebe uma "penalidade".
Ao longo de milhares de testes práticos, o detetive aprende exatamente quais padrões procurar e como raciocinar através de casos complicados, tornando-se eventualmente muito melhor em distinguir o câncer real do ruído inofensivo do corpo do que os programas originais baseados apenas na imagem.

Os Resultados

O artigo testou este sistema em pacientes com linfoma.

Sem o detetive: Os programas baseados apenas na imagem eram bons em encontrar pontos, mas ruins em saber quais eram reais, levando a muitos erros.
Com o detetive (RADIANT-PET): O sistema conseguiu filtrar o "ruído" (alarmes falsos) enquanto mantinha os tesouros reais.
Com as notas do médico: Quando o detetive teve permissão para ler os relatórios de radiologia, ele teve o melhor desempenho de todos, alcançando a maior precisão.

Em resumo: O RADIANT-PET não apenas olha para a foto; ele lê a foto, descreve-a e usa um detetive de IA inteligente para raciocinar através das pistas, garantindo que o que é contado como um tumor seja, de fato, um tumor.

Resumo Técnico: RADIANT-PET

Definição do Problema

A segmentação precisa de lesões em imagens de PET/CT é crítica para a oncologia, particularmente para o estadiamento de linfoma e modelagem prognóstica (ex: pós-terapia de células CAR T). No entanto, modelos de segmentação puramente baseados em imagem lutam para distinguir a captação maligna da captação fisiológica de traçadores, inflamação, infecção ou artefatos de imagem. Abordagens existentes baseadas apenas em imagem, incluindo variantes do estado da arte do nnUNet, falharam em atingir valores de Coeficiente de Similaridade de Dice (DSC) acima de 0,8, resultando frequentemente em falsos positivos significativos que distorcem as medições do volume tumoral metabólico (MTV). Os autores hipotetizam que essa limitação decorre da ausência de capacidades de raciocínio médico explícito nos pipelines de segmentação atuais, que dependem exclusivamente de padrões visuais em vez de integrar contexto anatômico e conhecimento clínico.

Metodologia

O artigo propõe o RADIANT-PET (Reasoning-Augmented Description–Inference Network for PET), um framework híbrido de dois estágios que desacopla a geração de candidatos da adjudicação ao nível da lesão.

1. Geração de Candidatos de Alta Sensibilidade (HS-UNet)

O primeiro estágio prioriza o recall para garantir que nenhuma lesão verdadeira seja perdida, aceitando uma taxa mais alta de falsos positivos.

Arquitetura do Modelo: Baseada no nnUNet-v2, vencedor do sub-track de FDG do AutoPET III.
Objetivo de Treinamento: A função de perda é modificada para ser deliberadamente permissiva. Ela combina uma perda de Tversky (com $\alpha=1, \beta=0$ para reduzir penalidades de falsos positivos) e uma perda de Entropia Cruzada Assimétrica (ACE) (enfatizando falsos negativos com $\lambda_{FN}=8.0$ ).
Inferência: O limiar de decisão é reduzido de 0,5 para 0,1 para maximizar a sensibilidade.
Alternativa: Uma abordagem de limiarização de SUV fixo (SUV $\ge$ 2,5) também é utilizada como um baseline clínico padrão para a geração de candidatos.
Pós-processamento: Um algoritmo de divisão por watershed separa regiões de captação confluentes. As fronteiras são validadas via verificações de vales de SUV para garantir que as divisões correspondam a separações metabólicas genuínas e não a artefatos geométricos.

2. Geração de Descrição Estruturada

Cada região candidata é convertida em uma descrição textual estruturada (formato JSON) contendo:

Características Quantitativas: Volume de voxel, descritores de forma 3D (elongação, esfericidade, etc.) e métricas de intensidade de PET ( $SUV_{max}$ , $SUV_{mean}$ ).
Contexto Anatômico Local: Percentagens de sobreposição com órgãos segmentados pelo TotalSegmentator e vetores de posição relativa.
Contexto Anatômico Global: Atribuição de nível vertebral (ex: T6) e localização em relação ao centro da imagem de corpo inteiro.

3. Adjudicação Baseada em LLM com Aprendizado por Reforço

Um Modelo de Linguagem Grande (LLM) avalia as descrições estruturadas para classificar os candidatos como "lesão verdadeira" ou "captação fisiológica".

Modelo Base: Um modelo local de 20 bilhões de parâmetros (gpt-oss-20b) é utilizado para garantir a privacidade na implantação clínica.
Entrada: Descrições JSON estruturadas, opcionalmente aumentadas com relatórios radiológicos de texto livre.
Otimização (GRPO): O modelo é ajustado utilizando Otimização de Política Relativa de Grupo (GRPO), um algoritmo de aprendizado por reforço.
- Função de Recompensa: Uma recompensa composta soma:
  1. Corretude Binária: +1 para classe correta, -1 para erros mutuamente exclusivos.
  2. Localização Anatômica: +2 para correspondência exata do sítio, +1,5 para correspondência dentro de um grupo de equivalência.
  3. Regularizador de Raciocínio: Penalidade de -0,5 se o traço de raciocínio falhar em referenciar o $SUV_{max}$ , garantindo que o modelo utilize características de imagem.
Dados de Treinamento: Os modelos foram treinados no AutoPET e em uma coorte interna da OSU (com e sem relatórios radiológicos).

Principais Contribuições

Framework de Raciocínio Aumentado: Um pipeline inovador que acopla a segmentação convencional de alta sensibilidade a um estágio de raciocínio baseado em LLM para adjudicar candidatos, indo além da classificação pura ao nível de pixel.
Aprendizado por Reforço para Raciocínio Médico: Aplicação de GRPO para otimizar a adjudicação de lesões por LLM, visando diretamente a precisão da classificação e a plausibilidade anatômica.
Integração Nativa de Relatórios: Incorporação direta de relatórios radiológicos como contexto, permitindo que o LLM aproveite interpretações médicas e narrativas clínicas durante o processo de raciocínio.

Resultados

O framework foi avaliado na coorte AutoPET-Test e em uma coorte interna OSU-Test.

Geração de Candidatos: O HS-UNet modificado alcançou maior sensibilidade (0,88) do que o nnUNet-v2 de base (0,63) no OSU-Test, com um DSC significativamente melhorado (0,58 vs. 0,34) em comparação com a limiarização simples de SUV.
Desempenho do LLM: O ajuste fino via GRPO melhorou significamente o modelo gpt-oss-20b. Sem relatórios, o modelo ajustado por RL alcançou um F1 de 0,68 (vs. 0,52 para o modelo base). Com relatórios, atingiu um F1 de 0,76, comparável a modelos proprietários fortes (ex: Gemini-Flash-3.0).
Desempenho de Segmentação:
- Sem Relatórios: O RADIANT-PET (usando LLM ajustado por RL) superou o baseline nnUNet-v2 tanto no AutoPET-Test (DSC 0,82 vs. 0,78) quanto no OSU-Test (DSC 0,77 vs. 0,72).
- Com Relatórios: O melhor desempenho foi alcançado combinando candidatos HS-UNet, LLM ajustado por RL e relatórios radiológicos, resultando em um DSC de 0,84 e um Erro Percentual Absoluto Médio (MAPE) de 0,16 para o MTV no OSU-Test. Isso representa uma melhoria substancial sobre o baseline nnUNet-v2 (DSC 0,72, MAPE 0,83).

Significância e Alegações

O artigo afirma que o RADIANT-PET demonstra que o raciocínio de nível de lesão baseado em LLM serve como uma camada de adjudicação eficaz pós-segmentação. Ao adicionar um passo de raciocínio que avalia a intensidade de captação, morfologia e contexto anatômico, o framework consegue suprimir falsos positivos fisiológicos enquanto preserva a sensibilidade.

Os autores enfatizam que:

O raciocínio explícito agrega valor além do contexto clínico adicional por si só, pois modelos ajustados por RL igualaram ou superaram os baselines baseados apenas em imagem mesmo sem relatórios.
A integração de relatórios radiológicos fornece um sinal complementar forte, alinhando os achados derivados da imagem com a interpretação médica.
O uso de um LLM local otimizado via GRPO oferece uma alternativa que preserva a privacidade em relação aos modelos proprietários, diminuindo a lacuna de desempenho em cenários de implantação clínica.

O estudo é limitado ao linfoma FDG PET/CT e depende de segmentação de órgãos a montante e características manuais, mas estabelece um novo paradigma para a integração do raciocínio médico em fluxos de trabalho de imagem automatizados.