RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion

O artigo apresenta o RTGMFF, um novo quadro de trabalho que aprimora o diagnóstico de transtornos cerebrais a partir de fMRI ao integrar a geração de texto orientada por regiões de interesse (ROI) com fusão de características multimodais, superando os métodos atuais em precisão diagnóstica nos conjuntos de dados ADHD-200 e ABIDE.

O essencial

Imagine que o cérebro humano é uma cidade gigante e muito complexa, cheia de bairros (as regiões do cérebro) que conversam o tempo todo. Quando alguém tem um transtorno como TDAH (Transtorno de Déficit de Atenção e Hiperatividade) ou Autismo, é como se o "trânsito" ou a "conversa" entre esses bairros estivesse bagunçada.

O problema é que os médicos têm um mapa dessa cidade (chamado fMRI), mas é um mapa cheio de ruído, estático e difícil de ler. Além disso, os computadores que tentam ler esse mapa costumam olhar apenas para a "forma" das ruas, ignorando a "frequência" das conversas (o ritmo) e não conseguem transformar os dados em uma história que um médico entenda facilmente.

Os autores deste artigo criaram um novo sistema chamado RTGMFF. Vamos explicar como ele funciona usando uma analogia de uma Equipe de Detetives Inteligentes:

1. O Tradutor de "Bairro" para "História" (Geração de Texto)

Antes, os computadores apenas olhavam para números frios de atividade cerebral. O RTGMFF faz algo diferente: ele age como um tradutor humano.

• O que ele faz: Ele pega os dados de cada um dos 116 "bairros" do cérebro, olha a idade e o sexo da pessoa, e transforma tudo em uma pequena história em texto.
• A analogia: Imagine que o computador diz: "O bairro da atenção está muito agitado (forte), o bairro do sono está fraco, e o paciente é um menino de 14 anos."
• Por que é legal: Isso cria um "rótulo" que o computador pode ler e entender como uma frase, não apenas como um número solto. É como transformar um código binário em uma carta escrita para o médico.

2. O Detetive com "Óculos de Frequência" e "Óculos de Distância" (Codificador Híbrido)

A maioria dos sistemas antigos olhava apenas para a imagem estática (como uma foto). O RTGMFF usa dois tipos de "óculos" ao mesmo tempo:

• Óculos de Frequência (Wavelet-Mamba): Eles olham para o ritmo e a velocidade dos sinais do cérebro. É como ouvir a música do cérebro para ver se o ritmo está errado, não apenas olhar a partitura.
• Óculos de Distância (Transformer): Eles olham para o todo, entendendo como o bairro do norte se conecta com o bairro do sul, mesmo que estejam longe um do outro.
• A analogia: É como ter um detetive que, ao mesmo tempo, ouve a frequência da conversa (para ver se há gritos ou sussurros estranhos) e vê quem está conversando com quem em toda a cidade. Juntando os dois, ele vê o quadro completo.

3. O Mediador que Une os Dois Mundos (Alinhamento Semântico)

Agora temos dois tipos de informações: a história em texto (o que o tradutor escreveu) e a imagem do cérebro (o que os óculos viram).

• O problema: Às vezes, o texto diz uma coisa e a imagem mostra outra, ou eles "falam línguas" diferentes.
• A solução: O RTGMFF tem um mediador (o Módulo de Alinhamento) que força o texto e a imagem a se sentarem na mesma mesa e usarem a mesma linguagem. Ele garante que a descrição do "bairro agitado" no texto corresponda exatamente ao "ponto vermelho" na imagem.
• O resultado: O computador cria uma visão única e perfeita, onde a história e a imagem se reforçam mutuamente.

O Resultado Final

Quando eles testaram esse sistema em bancos de dados reais de pacientes com TDAH e Autismo, o RTGMFF foi muito melhor do que os métodos antigos.

• Precisão: Ele acertou o diagnóstico com mais frequência.
• Confiança: Ele conseguiu identificar melhor quem tem o transtorno e quem não tem (menos falsos positivos e falsos negativos).
• Interpretabilidade: Como ele gera texto, um médico pode ler o "relatório" que o computador fez e entender por que ele chegou àquela conclusão, em vez de apenas receber um "sim" ou "não" misterioso.

Em resumo: O RTGMFF é como dar ao computador um tradutor de linguagem, óculos especiais para ver ritmos e um mediador para garantir que tudo faça sentido. Isso transforma dados brutos e confusos de ressonância magnética em diagnósticos claros, precisos e fáceis de entender para os médicos.

Resumo técnico

1. Problema e Contexto

O diagnóstico clínico de transtornos cerebrais utilizando Ressonância Magnética Funcional (fMRI) enfrenta desafios significativos:

• Baixa Relação Sinal-Ruído e Variabilidade: Os dados de fMRI são inerentemente ruidosos e apresentam alta variabilidade inter-sujeito.
• Limitações dos Modelos Atuais: As abordagens baseadas em CNNs e Transformers existentes frequentemente falham em capturar adequadamente as dependências de longo alcance e, crucialmente, negligenciam as representações no domínio da frequência, que são vitais para entender a dinâmica cerebral (especialmente em dados de repouso BOLD).
• Falta de Anotações Textuais: A maioria dos conjuntos de dados de fMRI carece de descrições textuais que contextualizem os padrões de ativação e conectividade regional, dificultando a interpretabilidade clínica e a integração semântica.

2. Metodologia: O Framework RTGMFF

O RTGMFF é um pipeline de diagnóstico multimodal que unifica a geração de texto baseada em Regiões de Interesse (ROI) com a fusão de características espaciais e de frequência. O sistema consiste em três componentes principais:

A. Geração de Texto de fMRI Orientada a ROI (RFTG)

• Abordagem Determinística: Diferente de modelos generativos de linguagem (LLMs) que podem ser estocásticos, o RFTG utiliza um gerador baseado em regras.
• Processo:
  1. Estatísticas de ROI: A média espacial das séries temporais BOLD é calculada para 116 regiões anatômicas (Atlas AAL-116).
  2. Discretização: As amplitudes contínuas são convertidas em três níveis ordinais (fraco, moderado, forte) e direção (↑, ↓) usando limiares otimizados via validação cruzada aninhada.
  3. Condicionamento Demográfico: Idade e sexo são codificados e aplicados via modulação linear de características (FiLM) para contextualizar o relatório.
  4. Saída: Gera tokens textuais compactos e reproduzíveis (e relatórios narrativos opcionais em estilo radiológico) que servem como entrada textual para o modelo.

B. Codificador Híbrido Frequência-Espacial (HFSE)

Este módulo integra informações locais e globais através de duas ramificações paralelas:

1. Ramo Hierárquico Wavelet-Mamba (HWM):
   • Realiza uma decomposição de onda (Haar) em múltiplos níveis para extrair características locais e de domínio de frequência.
   • Utiliza o mecanismo SelectiveScan do Mamba para modelar dependências de longo alcance de forma eficiente (complexidade linear), capturando a estrutura de frequência de forma seletiva.
2. Codificador Transformer de Multi-Escala (CSTE):
   • Foca nas dependências espaciais de longo alcance através de um Transformer cruzado.
   • Realiza atenção cruzada entre embeddings globais (patches) e características locais processadas, fundindo as duas correntes em uma representação visual unificada.

C. Módulo de Alinhamento Semântico Adaptativo (ASAM)

• Espaço Compartilhado: Projeta tanto a sequência de tokens textuais (gerados pelo RFTG) quanto as características visuais (do HFSE) em um espaço latente comum.
• Função de Perda: Utiliza uma perda de similaridade cosseno regularizada para minimizar a lacuna entre as modalidades (texto e imagem), garantindo que a representação multimodal seja coerente antes da classificação final.

3. Principais Contribuições

1. Geração de Texto Determinística: Um método inovador que converte estatísticas de ativação cerebral em tokens textuais reproduzíveis, preenchendo a lacuna de anotações textuais em dados de fMRI sem introduzir ruído estocástico.
2. Arquitetura Híbrida Frequência-Espaço: A combinação única de Wavelets (para análise espectral local), Mamba (para modelagem eficiente de sequência) e Transformers (para contexto global), superando as limitações de modelos puramente espaciais.
3. Alinhamento Semântico Multimodal: Um módulo que integra efetivamente a descrição textual das regiões cerebrais com as características visuais, melhorando a robustez do diagnóstico.

4. Resultados Experimentais

O modelo foi avaliado em dois benchmarks públicos: ADHD-200 (Transtorno de Déficit de Atenção e Hiperatividade) e ABIDE (Transtorno do Espectro Autista).

• Desempenho Superior: O RTGMFF superou consistentemente métodos state-of-the-art (incluindo CNNs, GNNs, Transformers puros e métodos de adaptação de domínio).
  • ADHD-200: Alcançou 80,7% de acurácia (vs. 77,8% do segundo melhor, A-GCL) e 80,4% de AUC.
  • ABIDE: Alcançou 86,4% de acurácia (vs. 84,7% do KMGCN) e 86,0% de AUC.
• Melhoria em Sensibilidade e Especificidade: O modelo demonstrou ganhos notáveis na detecção correta de casos positivos (Sensibilidade) e negativos (Especificidade), indicando menor taxa de falsos positivos/negativos.
• Estudos de Ablação: A remoção de qualquer um dos três módulos principais (HWM, CSTE ou ASAM) resultou em queda significativa de desempenho (>4% na remoção do HWM), confirmando a necessidade de cada componente.
• Análise de Hiperparâmetros: A sensibilidade foi testada para os pesos de perda ($\alpha$ e $\beta$), com configurações ótimas encontradas em $\alpha=0.8$ e $\beta=0.2$.

5. Significado e Impacto

O RTGMFF representa um avanço significativo na neuroimagem computacional ao:

• Integrar Domínios: Demonstrar que a fusão explícita de informações de domínio de frequência (via Wavelets/Mamba) com representações espaciais globais é crucial para diagnósticos precisos de fMRI.
• Interpretabilidade Clínica: A geração de relatórios textuais automáticos e baseados em regras oferece uma ponte entre a "caixa preta" dos modelos de deep learning e a necessidade clínica de explicações legíveis e auditáveis.
• Reprodutibilidade: O uso de um gerador determinístico e validação cruzada rigorosa (leave-one-site-out) garante que os resultados sejam robustos e generalizáveis entre diferentes centros de coleta de dados.

Em resumo, o trabalho propõe um framework robusto que não apenas melhora a acurácia diagnóstica, mas também aborda a interpretabilidade e a integração multimodal, estabelecendo um novo padrão para a análise de fMRI em transtornos neurológicos.