GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans

O artigo apresenta o GazeXPErT, um conjunto de dados 4D de rastreamento ocular de especialistas em exames FDG-PET/CT oncológicos, projetado para aprimorar a interpretabilidade e o desempenho de modelos de IA através da integração de padrões de busca humana na detecção e localização de tumores.

O essencial

Imagine que você está tentando ensinar um computador a ser um médico especialista em câncer. O computador já sabe "ler" as imagens (como um raio-X ou um PET/CT), mas ele ainda não entende como um médico humano pensa enquanto olha para aquelas imagens. Ele vê os pixels, mas não entende a "intuição" ou o "caminho mental" que o médico percorre para encontrar o problema.

É aqui que entra o GazeXPErT.

O Que é o GazeXPErT?

Pense no GazeXPErT como um "mapa de tesouro" dos olhos.

Os pesquisadores criaram um banco de dados especial onde eles gravaram, em alta velocidade, exatamente para onde os olhos de 13 especialistas em medicina nuclear olharam enquanto examinavam 346 exames de corpo inteiro de pacientes com câncer.

Eles não apenas gravaram as imagens, mas também o movimento dos olhos (o "olhar") e o que os médicos estavam pensando naquele momento (se estavam certos ou incertos sobre uma mancha ser câncer). É como se eles tivessem filmado a "mente" do médico através dos seus olhos.

A Analogia do Detetive e o Aprendizado do Robô

1. O Detetive Humano (O Especialista):
   Quando um médico olha para um exame complexo, ele não olha aleatoriamente. Ele segue um "mapa mental". Ele sabe: "Vou começar pelos pulmões, depois vou checar os gânglios linfáticos, e se vir algo estranho, vou dar um zoom". Ele usa anos de experiência para saber onde procurar.

2. O Robô Cego (A IA Antiga):
   As IAs antigas tentavam achar o câncer apenas olhando para a imagem estática, como se alguém tivesse vendado os olhos e dito: "Ache o tumor aqui". Elas muitas vezes se perdiam ou ficavam confusas com coisas que não eram câncer.

3. O Novo Treinamento (O GazeXPErT):
   Com este novo banco de dados, os pesquisadores estão ensinando a IA a imitar o olhar do detetive.

   • Eles mostram para a IA: "Veja como o Dr. Silva olhou primeiro para o ombro, depois desceu para o joelho. Ele gastou 2 segundos olhando fixamente para esta mancha. Isso significa que ele achou importante."
   • Ao treinar a IA com esses "mapas de olhar", ela aprende não apenas o que é um tumor, mas como procurar por ele.

O Que Eles Descobriram?

Os pesquisadores fizeram três testes interessantes para ver se essa ideia funcionava:

• Teste 1: A IA ficou mais precisa.
  Quando a IA usou o "mapa de olhar" dos especialistas para ajudar a encontrar os tumores, ela ficou muito melhor. Foi como dar uma bússola para um turista perdido; ele chegou ao destino muito mais rápido e com menos erros. A precisão da IA aumentou significativamente.

• Teste 2: Corrigindo o "ponto de mira".
  Às vezes, nossos olhos tremem ou olham para o lugar errado por um segundo. Os pesquisadores usaram o padrão de olhar para "corrigir" o ponto onde a IA achava que o médico estava olhando. Foi como usar um GPS que sabe a rota que você pretendia seguir, mesmo que você tenha desviado um pouco do caminho.

• Teste 3: Adivinhando a intenção.
  Eles tentaram ensinar a IA a entender a "intenção" do médico. O médico estava apenas olhando curiosamente? Ou ele estava prestes a dizer "Aqui tem um tumor"? A IA conseguiu aprender a distinguir essas duas situações com uma boa taxa de acerto, o que é crucial para criar assistentes que sabem quando ajudar e quando ficar quieto.

Por Que Isso é Importante?

Hoje, muitas IAs médicas são como "caixas pretas": elas dão um resultado, mas não explicam o porquê. Médicos desconfiam disso porque não entendem a lógica.

O GazeXPErT muda isso. Ao ensinar a IA a pensar como um humano (olhando nas mesmas lugares e com a mesma dúvida), a IA se torna explicável.

• Se a IA diz "Aqui tem um tumor", ela pode mostrar: "Eu olhei aqui porque o Dr. Silva também olhou aqui e ficou preocupado".
• Isso cria confiança. O médico não precisa apenas confiar na máquina; ele pode ver que a máquina está seguindo a lógica humana.

Resumo em uma Frase

O GazeXPErT é um "manual de instruções visual" que ensina robôs a olhar para exames de câncer da mesma forma que os melhores médicos do mundo olham, tornando a inteligência artificial mais inteligente, mais confiável e mais fácil de usar nos hospitais.

Resumo técnico

Resumo Técnico: GazeXPErT

1. O Problema

A tomografia por emissão de pósitrons com fludeoxiglicose (FDG-PET/CT) é um padrão-ouro para o estadiamento de tumores e avaliação de resposta ao tratamento em oncologia. No entanto, a interpretação dessas imagens depende de radiologistas experientes, cuja escassez exige ferramentas de diagnóstico mais eficientes.

• Limitações da IA Atual: Os modelos de IA existentes para segmentação automática de lesões são frequentemente "caixas-pretas", treinados em conjuntos de dados estáticos e pequenos, sem incorporar o raciocínio visual dos especialistas.
• Barreiras à Adoção Clínica: A falta de interpretabilidade, explicabilidade e a dificuldade de integração no fluxo de trabalho clínico (sem aumentar a carga cognitiva) impedem a tradução desses modelos para a prática real.
• Falta de Dados de Raciocínio Visual: Não existem grandes conjuntos de dados que capturem como os especialistas realmente "pensam" e "procuram" lesões (padrões de varredura visual) em exames volumétricos 3D.

2. Metodologia

Os autores desenvolveram o GazeXPErT, um conjunto de dados multimodal 4D (3D de imagem + tempo de rastreamento ocular) para capturar padrões de busca de especialistas durante a detecção de tumores.

• Coleta de Dados:

  • Amostra: 346 estudos únicos de FDG-PET/CT (98 linfomas, 122 câncer de pulmão, 126 melanoma) de um conjunto de dados público.
  • Participantes: 13 especialistas (radiologistas e médicos nucleares) e residentes/fellows de 4 instituições (EUA, Alemanha, Coreia, Japão).
  • Plataforma: Um sistema personalizado de rastreamento ocular (Tobii Pro Spark, 60 Hz) integrado a um visualizador de PET/CT. Os leitores simularam uma leitura clínica rotineira, podendo ajustar janelas, rolar fatias 2D, alternar entre modalidades (PET, CT, Fusão) e visualizar projeções MIP (Maximum Intensity Projection).
  • Tarefa: Identificar, selecionar e confirmar lesões metabolicamente ativas, indicando o nível de certeza ("certo" vs. "incerto").
  • Anotação: Utilizou-se um sistema semi-automático onde o sistema propõe caixas delimitadoras baseadas no último ponto de olhar do usuário ("gaze-select"), que o especialista aceita, rejeita ou ajusta. Isso gerou 9.030 trajetórias únicas de olhar-para-lesão a partir de 3.948 minutos de dados brutos.

• Processamento e Formato:

  • Os dados foram processados em volumes de calor 3D (heatmaps) e formatados no estilo COCO (Common Objects in Context) para facilitar o uso em aprendizado de máquina.
  • Inclui metadados completos de visualização (parâmetros de contraste, janelas) sincronizados com as coordenadas do olhar.

3. Contribuições Principais

1. Novo Conjunto de Dados (GazeXPErT): O primeiro grande recurso de dados de rastreamento ocular focado em PET/CT oncológico, capturando não apenas a localização da lesão, mas o processo de busca e a incerteza diagnóstica.
2. Integração de Intenção Humana: O dataset codifica a intenção do especialista (busca intencional vs. varredura aleatória) e o grau de confiança, permitindo que modelos de IA aprendam o raciocínio clínico, não apenas a segmentação.
3. Validação de Viabilidade Técnica: Demonstrou-se que é possível coletar dados de alta qualidade em um fluxo de trabalho simulado sem interromper excessivamente a leitura clínica.
4. Código e Dados Abertos: O dataset e os códigos de processamento foram disponibilizados para a comunidade (Stanford AIMI Center, Kaggle, repositório Git).

4. Resultados dos Experimentos de Validação

Os autores realizaram três experimentos para validar a utilidade do dataset:

• Experimento 1: Melhoria na Segmentação de Tumores (3D nnUNet)

  • Um modelo 3D nnUNet foi treinado com e sem mapas de calor de atenção baseados no olhar dos especialistas.
  • Resultado: O modelo com atenção de olhar superou significativamente o modelo padrão, alcançando um escore DICE de 0,6819 contra 0,6008 (sem olhar), mesmo com os especialistas gastando menos de 8% do tempo olhando diretamente para os tumores. Isso prova que os padrões de busca contêm informações diagnósticas ricas.

• Experimento 2: Correção de Ponto de Olhar (Vision Transformer)

  • Um modelo Transformer (ViT) foi treinado para prever um ponto de olhar mais próximo da lesão real do que o último ponto de olhar do usuário, utilizando sequências temporais de olhar e imagem.
  • Resultado: O modelo reduziu o erro angular médio de 1,134° (não corrigido) para 0,856° (pós-correção), atingindo a faixa esperada para tarefas de apontamento estático (0,5°-1°). Isso sugere que a modelagem temporal pode compensar limitações de dispositivos de rastreamento mais baratos.

• Experimento 3: Predição de Intenção Humana

  • Classificação binária para distinguir entre "busca intencional" (focada em uma lesão alvo) e "busca não intencional" (varredura geral).
  • Resultado: O modelo alcançou 67,53% de precisão e AUROC de 0,747. Embora desafiador, demonstra que a intenção do especialista pode ser inferida a partir da trajetória do olhar e do contexto da imagem.

5. Significado e Impacto Futuro

O GazeXPErT representa um avanço crucial para a IA Explicável (XAI) e a Interação Humano-AI na medicina:

• IA Grounded (Fundamentada): Permite treinar modelos que alinham sua "atenção" com a dos especialistas, superando as aproximações de saliência post-hoc.
• Fluxos de Trabalho Adaptativos: Possibilita sistemas que podem prever a intenção do radiologista, priorizar regiões de interesse ou alertar para achados negligenciados, reduzindo a carga cognitiva.
• Aprendizado por Reforço: Oferece sinais de recompensa derivados de humanos para guiar agentes de IA em estratégias de busca semelhantes às dos especialistas.
• Confiança Clínica: Ao incorporar o raciocínio visual humano, os modelos tornam-se mais transparentes e confiáveis, facilitando a aprovação regulatória e a adoção clínica.

Em suma, o GazeXPErT não é apenas um conjunto de dados de imagens, mas uma ponte entre a cognição humana e a inteligência artificial, visando criar sistemas que "mereçam" a confiança dos clínicos ao entender e ampliar seu raciocínio em tempo real.