Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

Título do Estudo

Explorando a Complexidade Estrutural em RAG Normativo com Abordagens Baseadas em Grafos: Um Estudo de Caso sobre os Padrões ETSI.

1. Problema Identificado

Documentos industriais, normas e regulamentos (como os padrões ETSI) apresentam características intrínsecas que os tornam inadequados para processamento direto por modelos de linguagem generativa (LLMs) ou por sistemas de Recuperação Aumentada por Geração (RAG) convencionais ("vanilla"). Os principais desafios são:

• Estrutura Hierárquica Complexa: Os documentos são organizados em seções e subseções com dependências parentais e de irmãos.
• Vocabulário Específico e Referências Cruzadas: O uso de jargão técnico preciso e citações frequentes entre documentos cria uma rede de dependências que a similaridade semântica vetorial simples (baseada em embeddings densos) frequentemente ignora.
• Limitações do RAG "Vanilla": A recuperação baseada apenas em vetores pode falhar em capturar relações lógicas (ex: "o Documento A exige a consulta do Documento B") e pode perder termos técnicos precisos em favor de similaridades semânticas difusas.
• Falta de Evidência Empírica: Existe uma lacuna no conhecimento sobre qual estratégia de indexação (leve vs. pesada em grafos) é ótima para padrões técnicos.

2. Metodologia Proposta

Os autores propõem uma metodologia RAG especializada que integra a estrutura do documento diretamente no fluxo de recuperação, utilizando um modelo de informação baseado em grafos.

A. Modelo de Informação e Construção do Grafo

• Unidades de Informação (InfoUnits): O grafo é composto por nós homogêneos chamados "InfoUnits", que representam trechos de texto com propriedades intrínsecas (título e corpo).
• Relações (Arestas):
  • Parthood (P): Relações de parte-todo (seção-subseção), definindo a hierarquia documental.
  • Citação (C): Relações de citação entre InfoUnits e documentos referenciados (internas e externas).
• Processo de Extração: O sistema extrai o sumário (ToC) de arquivos PDF para reconstruir a hierarquia, dividindo seções longas em chunks menores, mas mantendo a relação de ancestralidade.

B. Pipeline de Recuperação (7 Módulos)

O pipeline proposto combina técnicas esparsas e densas com exploração de grafos:

1. Parse Sections: Constrói o grafo a partir dos documentos.
2. Split Chunks: Divide documentos em chunks uniformes (opcionalmente).
3. Embed InfoUnits: Gera embeddings densos para cada unidade usando um modelo leve (IBM Granite).
4. Smoothing (Suavização): Aplica uma técnica leve para tornar os embeddings de nós conectados mais similares (média ponderada do nó e seus vizinhos), capturando contexto relacional sem o custo computacional de Redes Neurais de Grafos (GNNs).
5. BM25 Prefilter: Usa busca lexical (BM25) para alta precisão em palavras-chave e baixa latência, filtrando o espaço de busca inicial.
6. Dense Re-ranker: Reclassifica os candidatos com base na similaridade semântica.
7. Reciprocal Rank Fusion (RRF): Combina as classificações do BM25 e do Re-ranker denso.
8. Expander & Graph Re-ranker: Expande os resultados iniciais ("seeds") buscando vizinhos no grafo e reclassifica-os considerando a conexão com a semente, a similaridade com a consulta e uma penalização para nós "hubs" (muito conectados, mas talvez irrelevantes).

3. Contribuições Principais

• Proposta de Arquitetura Híbrida: Desenvolvimento de um pipeline RAG que integra explicitamente a estrutura hierárquica e as relações de citação de padrões técnicos, indo além da simples similaridade vetorial.
• Técnica de Suavização de Embeddings: Introdução de uma abordagem leve ("smoothing") para injetar informações relacionais nos vetores, servindo como alternativa de baixo custo às GNNs.
• Benchmarks Específicos: Criação de um conjunto de dados sintético de Q&A (mais de 800 pares válidos) derivado da série ETSI EN 301 489, projetado especificamente para avaliar a eficácia da recuperação em normas técnicas, com métricas de "golden chunks" (trechos de prova).
• Análise Comparativa: Avaliação rigorosa de múltiplas estratégias (Vanilla vs. Estruturada, com/sem expansão de grafos, com/sem suavização).

4. Resultados Experimentais

Os experimentos foram realizados com 8 configurações diferentes do recuperador em um conjunto de 800+ pares de perguntas e respostas.

• Preservação de Estrutura: Manter a hierarquia oficial das seções (em vez de chunks planos) teve um efeito positivo significativo na Precisão (Precision) e no MRR (Mean Reciprocal Rank), embora não tenha impactado estatisticamente o Recall.
• Fusão de Rankings (RRF): A combinação de métodos densos e esparsos (BM25 + Embeddings) melhorou a precisão e o MRR, confirmando a necessidade de lidar tanto com o significado geral quanto com o jargão técnico exato.
• Expansão de Vizinhos: A expansão de vizinhos e o re-ranking baseado em grafos não mostraram eficácia significativa neste estudo, sugerindo que a função de pontuação para vizinhos precisa ser refinada para este domínio.
• Suavização (Smoothing): A técnica de suavização melhorou ligeiramente o Recall, indicando que é uma promessa para melhorar a completude das respostas ao capturar informações relacionais no índice.
• Melhor Compromisso: A estratégia que combinou preservação de estrutura com chunking (dividir seções longas mantendo a hierarquia) apresentou o melhor equilíbrio geral.

5. Significado e Conclusões

O estudo demonstra que a estrutura nativa e as regularidades lexicais dos padrões técnicos são ativos robustos que podem ser explorados para melhorar a recuperação de informações.

• Viabilidade: É possível melhorar o RAG para documentos normativos sem recorrer a modelos de grafos complexos e custosos, utilizando estratégias leves de indexação estrutural e fusão de rankings.
• Aplicabilidade: A abordagem proposta oferece um framework escalável para a elaboração automatizada de normas e análise regulatória.
• Futuro: Embora promissora, a pesquisa indica que a capacidade de sintetizar informações de passagens distantes (dentro ou entre documentos) ainda precisa ser investigada, possivelmente exigindo soluções híbridas mais avançadas no futuro.

Em suma, o trabalho valida que, para domínios altamente estruturados e referenciados como normas técnicas, o RAG deve evoluir de uma abordagem puramente semântica para uma abordagem relacional e estruturalmente consciente.