Automated Meta-Analysis of Transcranial Magnetic Stimulation Based on GraphRAG: A Methodology Study

Resumo Técnico: Metanálise Automatizada de Estimulação Magnética Transcraniana Baseada em GraphRAG

Definição do Problema
A eficácia terapêutica da Estimulação Magnética Transcraniana (EMT) depende fortemente de parâmetros de estimulação específicos (ex: frequência, intensidade, sítio). No entanto, diferentes combinações de parâmetros para a mesma doença frequentemente resultam em desfechos clínicos heterogêneos, necessitando de síntese quantitativa de evidências via metanálise para otimizar protocolos. A metanálise tradicional é intensiva em recursos, exigindo meses de trabalho manual por múltiplos especialistas para extrair dados de literatura não estruturada, sendo propensa a erros humanos e à dificuldade de atualização com nova literatura. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa na extração de informações de textos, eles carecem de capacidades de recuperação dinâmica e são limitados por cortes de treinamento (training cutoffs). Além disso, sistemas de Geração Aumentada de Recuperação (RAG) convencionais, que recuperam fragmentos de texto, falham em satisfazer os requisitos de agregação de dados estruturados da metanálise, pois não conseguem manter associações sistemáticas entre entidades médicas (ex: métodos de tratamento, medidas de desfecho) ao longo de múltiplos artigos.

Metodologia
O estudo propõe um fluxo de trabalho de metodologia baseado em GraphRAG compreendendo três estágios principais: extração de parâmetros, construção de grafo de conhecimento e consulta multinível.

1. Extração de Parâmetros (Processamento de Texto Longo):

   • Estratégia de Fragmentação (Chunking): Para abordar as limitações da janela de contexto dos LLMs e o problema do "perdido no meio" (lost-in-the-middle), os autores empregam uma estratégia de fragmentação de texto baseada em títulos combinada com um algoritmo de janela deslizante. Isso divide os textos completos em blocos semânticos (resumo, métodos, resultados, tabelas). Um processamento especial de "proteção de tabelas" garante a integridade dos dados tabulares.
   • Engenharia de Prompt: O sistema utiliza modelos de prompt específicos combinando esses blocos semânticos para extrair dados estruturados. Os modelos são desenhados para:
     • Informações Básicas: Desenho do estudo, população, tamanho da amostra.
     • Medidas de Desfecho: Desfechos primários/secundários, escalas e pontos temporais.
     • Parâmetros de EMT: Frequência, intensidade, alvo, tipo de bobina e métodos sham.
     • Risco de Viés: Avaliação utilizando a ferramenta RoB2 (cinco domínios).
   • Armazenamento Dinâmico: Os dados extraídos são armazenados em formato JSON. O esquema é dinâmico, adaptando-se a desenhos experimentais (ex: RCT de dois braços, RCT de múltiplos braços, cruzado/crossover) para lidar com estruturas de dados específicas como efeitos de arraste (carryover effects) ou comparações pareadas, mantendo a consistência na nomenclatura dos atributos principais.

2. Construção de Grafo de Conhecimento:

   • Definição de Entidade: Diferente do RAG padrão que utiliza tokens ou fragmentos de texto como nós, este método utiliza artigos inteiros como nós de entidade.
   • Armazenamento Híbrido: O sistema integra três representações de informação:
     • Armazenamento de Palavras-chave: Extraído via princípios PICO (População, Intervenção, Comparação, Desfecho) e palavras-chave gerais, utilizando tabelas de sinônimos e mapeamento pai-filho (ex: TBS como um subtipo de rTMS).
     • Armazenamento Estruturado: Reuso direto dos arquivos JSON da fase de extração para consultas de parâmetros detalhados.
     • Armazenamento Semântico: Os resumos dos artigos são convertidos em vetores densos usando o modelo de embedding BAAI/bge-base-en-v1.5.
   • Agrupamento de Comunidade (Community Clustering): O algoritmo de Leiden é aplicado para particionar o grafo de nós em comunidades semanticamente coesas, estabelecendo associações de entidades baseadas em pontuações de similaridade ponderadas.

3. Consulta Multinível:

   • Um mecanismo de recuperação híbrido calcula uma pontuação total ($Score_{total}$) ponderando a correspondência de palavras-chave, a correspondência de campos estruturados (usando princípios de TF-IDF) e a similaridade de cosseno de vetores semânticos.
   • Consulta de Palavra-chave: Utiliza lógica booleana com sinônimos e mapeamento hierárquico para lidar com a diversidade da linguagem natural.
   • Consulta Estruturada: Aplica ponderação inspirada em BM25 para suprimir termos genéricos de alta frequência (ex: "TMS") e priorizar características discriminativas (ex: "deep TMS").
   • Consulta Semântica: Utiliza a similaridade de cosseno entre o vetor da consulta e o vetor do documento para classificar a relevância.

Construção do Conjunto de Dados
Os autores construíram um conjunto de dados específico, TMS-MAD (Conjunto de Dados de Metanálise de TMS), composto por 26 metanálises relacionadas à TMS e seus 250 estudos originais de suporte (277 documentos no total). O conjunto de dados cobre transtornos neurológicos incluindo depressão, acidente vascular cerebral, doença de Alzheimer e doença de Parkinson, com uma mistura de tipos de estudo (RCTs, ensaios cruzados, etc.). Todos os dados foram anotados manualmente para servir como uma verdade fundamental (ground truth) para avaliação.

Resultados
O método foi avaliado em quatro LLMs: GPT-5.4, DeepSeek-V4-flash, Gemini-3.1-flash-lite e Claude-haiku-4.5.

• Precisão de Extração:
  • Campos Fixos: Os valores de Correspondência Exata (EM) para campos como títulos e tipos de desenho de estudo excederam 90% em todos os modelos.
  • Campos Abertos: Embora as pontuações de correspondência exata tenham sido menores (ex: BLEU-4 para medidas de intervenção variou entre 12,4% e 32,5%), a similaridade semântica (Similaridade de Cosseno) foi alta (>0,8 para a maioria dos campos, >0,89 para parâmetros de EMT), indicando que os modelos capturaram o significado correto apesar das diferenças de fraseologia.
  • Campos Numéricos: O Erro Percentual Absoluto Médio (MAPE) para tamanhos de amostra ficou geralmente entre 7–12%, embora os erros tenham sido maiores para métricas específicas como porcentagem de sexo masculino (até 22%) e contagens de pulso (até 39%).
  • Risco de Viés (RoB2): O Claude-haiku-4.5 alcançou a maior precisão (79,34%) e pontuações Kappa para o risco de viés geral. O desempenho foi mais forte em domínios de randomização e mais fraco em domínios de dados ausentes.
• Eficiência: O tempo médio para extrair parâmetros de um único artigo foi de 86,71 segundos, reduzindo significativamente o esforço manual necessário para a metanálise.
• Desempenho de Recuperação: A estratégia de recuperação híbrida superou as abordagens unimodais (apenas palavra-chave, apenas estrutura, apenas semântica) em termos de taxa de coincidência (a razão entre artigos relevantes recuperados e o conjunto de referência). Enquanto a recuperação apenas semântica retornou um alto volume de artigos com menor precisão, a abordagem híbrida equilibrou efetivamente a revocação (recall) e a precisão.
• Replicação de Gráfico de Floresta (Forest Plot): O sistema reproduziu com sucesso gráficos de floresta para consultas específicas (ex: rTMS para PSCI, ataxia cerebelar), embora tenham ocorrido discrepâncias quando os dados eram apresentados exclusivamente em imagens, as quais o LLM baseado em texto não pôde processar.

Principais Contribuições

1. Paradigma GraphRAG para Metanálise: O estudo introduz uma aplicação inovadora de GraphRAG onde os artigos servem como nós de entidade em vez de fragmentos de texto, permitindo a recuperação sistemática e a síntese de estudos inteiros necessários para a metanálise.
2. Armazenamento e Recuperação Híbridos: Propõe uma estratégia de armazenamento de três modalidades (palavra-chave, estruturada, semântica) que equilibra a granularidade da recuperação com a completude da informação, abordando as limitações do RAG padrão na agregação de dados estruturados.
3. Conjunto de Dados TMS-MAD: A criação de um conjunto de dados especializado e estruturado para metanálise de TMS para facilitar a avaliação de métodos de extração e recuperação automatizados.
4. Fluxo de Trabalho Automatizado: Um pipeline completo, desde a fragmentação de texto longo e extração baseada em prompt até a construção do grafo de conhecimento e cálculo do tamanho do efeito, demonstrando a viabilidade de automatizar partes do processo de metanálise.

Significância e Alegações
O artigo afirma que o método proposto apoia efetivamente as tarefas de extração de dados e recuperação para metanálise no domínio da TMS. Ao alavancar LLMs para extração de parâmetros estruturados e GraphRAG para síntese sistemática de literatura, o estudo fornece uma solução viável para a metanálise automatizada. Demonstra que, embora os LLMs possam não corresponder perfeitamente à extração humana em cada detalhe de string exata, eles alcançam alta fidelidade semântica e reduzem significativamente os custos de tempo e recursos associados à metanálise tradicional. Os autores concluem que esta abordagem oferece um caminho prático para automatizar a síntese de evidências, embora reconheçam limitações quanto à extração de dados baseados em imagens e a necessidade de capacidades multimodais para resolver totalmente todas as fontes de dados.