Resumo Técnico: TechGraphRAG

Declaração do Problema

O artigo aborda as limitações da aplicação de Grandes Modelos de Linguagem (LLMs) de uso geral em tarefas de engenharia altamente especializadas e de domínio específico, especificamente nos campos de pneus inteligentes, dinâmica veicular e controle de veículos. O autor identifica quatro lacunas críticas ao aplicar LLMs isolados neste contexto:

1. Lacunas de Conhecimento de Domínio: Modelos pré-treinados carecem de cobertura profunda de conhecimentos de nicho, proprietários ou altamente especializados (ex: mecânica específica de pneus).
2. Obsolescência de Conhecimento: Os LLMs dependem de dados de treinamento estáticos com cortes fixos, tornando-os incapazes de incorporar pesquisas recém-publicadas ou práticas evolutivas sem um retreinamento caro.
3. Escalabilidade de Contexto: Mesmo com janelas de contexto estendidas, os LLMs têm dificuldade em raciocinar simultaneamente sobre dezenas de artigos técnicos densos, frequentemente sofrendo de degradação de atenção.
4. Rastreabilidade e Atribuição: Os LLMs isolados sintetizam padrões em vez de recuperar evidências específicas, levando a saídas não citadas e não verificáveis, o que é inaceitável para decisões de engenharia relevantes à segurança.

Além disso, o autor observa que a busca por palavras-chave tradicional é insuficiente para um corpus curado de aproximadamente 2.100 artigos acadêmicos devido à terminologia inconsistente, locais de publicação fragmentados e à dificuldade de descobrir relações interdisciplinares (ex: entre mecânica de pneus e controle de ABS).

Metodologia: O Framework TechGraphRAG

A solução proposta é o TechGraphRAG, um framework de Geração Aumentada de Recuperação (RAG) agêntico, instanciado sobre um corpus técnico pessoal de aproximadamente 2.100 artigos acadêmicos (~24.000 fragmentos de texto indexados). Diferente de um RAG convencional de passagem única, este sistema emprega um pipeline autônomo de 13 etapas organizado em dois loops agênticos: Coleta de Evidências e Curadoria de Resposta & Verificação.

Componentes Arquiteturais Principais

1. Pré-processamento Offline e Construção de Grafo de Conhecimento

• Fragmentação Sensível à Estrutura: Os documentos são segmentados por cabeçalhos de seção e parágrafos para evitar a diluição semântica. Os fragmentos possuem ~3.500 caracteres com sobreposições de 400 caracteres.
• Indexação Híbrida: Os fragmentos são incorporados usando sentence-transformers/all-MiniLM-L6-v2 (denso) e indexados via BM25 (esparso) para correspondência de palavras-chave.
• Grafo de Conhecimento Neo4j: Um grafo de entidades é construído via extração baseada em LLM (artigos, autores, tópicos, métodos, métricas) e validado contra o OpenAlex. Ele resolve citações intra-corpus, vinculando artigos aos seus fragmentos específicos e permitindo a travessia de co-citações.

2. O Pipeline Agêntico de 13 Etapas
O pipeline executa autonomamente por consulta:

• Etapa 0 (Classificação de Consulta): O GPT-4o-mini classifica a consulta em uma de quatro rotas: Conteúdo (perguntas técnicas), Bibliometria (buscas de autores/artigos), Tendência (evolução de publicações) ou Mundo_atual (notícias de mercado/regulatórias). Isso determina a estratégia de busca.
• Etapa 1 (Reescrita de Consulta): A consulta é reescrita para ser tecnicamente explícita e alinhada com a terminologia acadêmica.
• Etapa 2 (Recuperação Local): Uma busca híbrida combina FAISS (semântica) e BM25 (lexical), fundidos via Reciprocal Rank Fusion (RRF), e refinados por um reclassificador (cross-encoder).
• Etapa 3 (Pontuação de Suficiência de Evidência): Uma nova rubrica de 100 pontos em cinco dimensões (Confiança de Recuperação, Especificidade da Resposta, Diversidade de Fontes, Completude de Metadados, Recência) pontua a evidência local.
  • Lógica de Decisão: Pontuações 80–100 (FORTE) pulam a busca externa; 50–79 (MODERADA) permitem enriquecimento opcional; 0–49 (FRACA) disparam a tentativa agêntica de repetição.
• Etapa 4 (Tentativa de Repetição Agêntica): Se a evidência for FRACA, o sistema reformula a consulta usando autorreflexão sobre as deficiências de recuperação. Um "guarda de deriva" garante que a nova consulta mantenha ≥30% de sobreposição de termos com a original.
• Etapa 5 (Busca Acadêmica Externa): Se a evidência local for insuficiente, o sistema busca em bases de dados externas (Crossref, OpenAlex, Semantic Scholar) através de loops iterativos de otimizar–buscar–vetar. O número de tentativas e fontes depende da rota da consulta (ex: até 3 tentativas para Conteúdo, 5 para Bibliometria).
• Etapa 6 (Veto por LLM): Artigos externos são filtrados quanto à relevância.
• Etapa 7 (Travessia de Grafo de Conhecimento): O sistema percorre o grafo Neo4j para recuperar artigos relacionados, obras co-citadas e perfis de autores, enriquecendo o contexto além da similaridade vetorial.
• Etapa 8 (Construção de Prompt): Fragmentos locais, abstracts externos vetados e o contexto do grafo são fundidos em um prompt estruturado. Se a evidência local for extremamente fraca (<30), ela é descartada para evitar alucinação.
• Etapa 9 (Verificação de Citação): Antes da geração, o sistema verifica lacunas ou contradições na fonte.
• Etapa 10 (Geração de Resposta): O modelo gera uma resposta estritamente fundamentada na evidência fornecida, citando fontes explicitamente.
• Etapa 11 (Verificação de Qualidade): A resposta gerada é avaliada quanto ao embasamento factual e integridade das citações. Se problemas forem encontrados, é automaticamente regenerada uma vez.
• Etapas 12–13: Controle de custos e conclusão do pipeline.

Principais Contribuições

O artigo reivindica as seguintes contribuições específicas:

1. Arquitetura Agêntica Baseada em Gatilho de Evidência: Um pipeline de 13 etapas que coordena recuperação híbrida, travessia de grafo, busca externa e controle de qualidade, indo além do RAG de passagem única.
2. Pontuação de Evidência Multidimensional: Uma rubrica de 100 pontos com amortecimento de relevância e revisão híbrida baseada em regras/LLM que decide autonomamente se deve confiar no corpus interno ou disparar busca externa.
3. Busca Externa Dependente de Rota: Uma arquitetura de busca iterativa através de Crossref, OpenAlex e Semantic Scholar que adapta estratégias com base na intenção da consulta (conteúdo vs. bibliometria vs. tendência).
4. Grafo de Conhecimento Validado: Um grafo Neo4j construído com extração por LLM e validação de autor via OpenAlex, permitindo a travessia de co-citação e recuperação relacional estruturada que complementa a busca vetorial.
5. Loop de Geração Autocorretivo: Um mecanismo de verificação de citação e regeneração automática para garantir análise fundamentada e transparente.

Resultados e Avaliação

O sistema foi avaliado em um conjunto de teste de seis consultas abrangendo as rotas de conteúdo, bibliometria e mundo atual:

• Precisão de Roteamento: 100% (6/6) de classificação correta de intenção.
• Qualidade da Resposta: Todas as respostas passaram pelos controles de qualidade automatizados sem exigir regeneração.
• Pontuação de Evidência: O mecanismo de pontuação distinguiu corretamente a cobertura local forte (Pontuação 81) da cobertura moderada (Pontuações 68–74), disparando tentativas de repetição apenas quando necessário.
• Custo e Latência:
  • O custo total para as 6 consultas foi de $0,027 (média de $0,0045/consulta).
  • O tempo de execução variou de 10,9s (consultas simples) a 22,1s (consultas complexas com repetição e busca externa).
• Ablação de Recuperação: Um estudo preliminar em 10 consultas mostrou que o pipeline completo (Híbrido + Cross-encoder + Reescrita de Consulta) alcançou um P@5 de 0,78, superando significativamente os baselines de apenas BM25 (0,52) ou apenas FAISS (0,58).

Significância e Alegações

O artigo posiciona o TechGraphRAG não como um novo modelo de recuperação, mas como um estudo de caso prático e implementado demonstrando como o RAG agêntico e fundamentado em evidências pode apoiar a navegação de literatura e o raciocínio técnico em grandes corpora de domínio específico.

Os autores afirmam que a significância do framework reside em sua capacidade de:

• Prover análise técnica transparente e auditável ao fundamentar as saídas em evidências explicitamente recuperadas e vetadas.
• Permitir a avaliação autônoma da suficiência de evidências, suplementando dinamicamente o conhecimento interno com fontes acadêmicas externas apenas quando necessário.
• Suportar fluxos de trabalho de engenharia relevantes à segurança ao impor a verificação de citações e prevenir a síntese de informações não verificadas.

O trabalho é apresentado como uma solução para engenheiros e pesquisadores que precisam conectar literatura técnica para gerar insights baseados em evidências, esclarecendo o estado da arte e apoiando decisões de design em aplicações de pneus inteligentes e dinâmica veicular. Os autores reconhecem limitações, principalmente o fato de que o corpus específico é proprietário e não pode ser liberado publicamente, embora a arquitetura do pipeline esteja totalmente documentada.