💬 NLP

Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

Este artículo investiga la eficacia de las arquitecturas Graph RAG para mejorar la recuperación de información en documentos normativos complejos como las normas ETSI, demostrando que la incorporación de la estructura y las relaciones jerárquicas en el índice supera a los métodos de recuperación vectorial tradicionales.

Autores originales: Aiman Al Masoud, Marco Arazzi, Simone Germani, Antonino Nocera

Publicado 2026-04-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Aiman Al Masoud, Marco Arazzi, Simone Germani, Antonino Nocera

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los estándares industriales (como las normas ETSI que estudia este papel) son como gigantescas bibliotecas de recetas de cocina, pero escritas en un idioma muy técnico y lleno de referencias cruzadas. Si le pides a un chef novato (un modelo de Inteligencia Artificial estándar) que encuentre una receta específica, podría perderse porque las recetas no están solo en un libro, sino que la "Receta A" dice "mira la Receta B del libro de ayer", y la "Receta B" depende de la "Receta C" de hace tres años.

Aquí te explico qué hicieron los autores de este estudio usando una analogía sencilla:

1. El Problema: La Búsqueda "Vanilla" (La Búsqueda Ciega)

Normalmente, cuando usamos herramientas de IA para buscar en documentos, usamos un sistema llamado RAG (Generación Aumentada por Recuperación).

La forma antigua (Vanilla): Imagina que cortas todas las páginas de la biblioteca en pequeños trozos de papel y los tiras en una pila gigante. Cuando alguien hace una pregunta, el sistema busca palabras clave que suenen similares.
El fallo: Si la pregunta es sobre una norma muy específica, el sistema puede encontrar un trozo de papel que tiene palabras similares, pero que no tiene sentido en el contexto. Es como encontrar la palabra "sal" en una receta de pastel cuando en realidad necesitabas saber sobre la "sal" en una receta de sopa. Además, ignora que una sección depende de otra.

2. La Solución Propuesta: El Mapa de Conexiones (Graph RAG)

Los autores dicen: "¡Espera! Estos documentos no son una pila de papeles sueltos; son un árbol genealógico o un mapa de metro".

La estructura: Las normas tienen secciones, subsecciones y citas (referencias a otros documentos).
El enfoque nuevo (Graph RAG): En lugar de tirar los papeles en una pila, construyen un mapa de conexiones.
- Cada trozo de texto es una estación (un nodo).
- Las conexiones entre secciones (padre-hijo) y las citas (referencias) son las líneas de metro (bordes).
La ventaja: Cuando alguien pregunta algo, el sistema no solo busca la estación más cercana por nombre, sino que puede viajar por las líneas para entender que para entender la Estación A, necesitas haber pasado antes por la Estación B.

3. La Experimentación: Probando el Mapa

Para ver si esto funcionaba, los investigadores tomaron una serie de normas reales (ETSI EN 301 489) y crearon un banco de pruebas (preguntas y respuestas) usando una IA avanzada.

Probaron varias estrategias, como si fueran diferentes formas de navegar por la biblioteca:

Cortar al azar: Dividir el texto en trozos iguales sin importar la estructura (el método antiguo).
Respetar la estructura: Mantener las secciones y subsecciones tal como están en el documento original.
Suavizar la información: Una técnica curiosa donde, si dos trozos de texto están conectados en el mapa, se les "mezcla" un poco su significado para que la IA entienda mejor su relación.
Expansión vecina: Si encuentras un trozo relevante, el sistema busca automáticamente a sus "vecinos" en el mapa para ver si aportan contexto extra.

4. Los Resultados: ¿Qué funcionó mejor?

Los resultados fueron interesantes y dieron lecciones valiosas:

La estructura es clave: Mantener el "árbol genealógico" de las normas (saber qué sección es hija de cuál) mejoró mucho la precisión. La IA encontró la respuesta correcta más rápido y con menos errores.
Mezclar métodos: Combinar la búsqueda por palabras clave (como buscar en un índice) con la búsqueda por significado (como entender el contexto) funcionó muy bien.
El "vecino" no siempre ayuda: Intentar expandir la búsqueda a todos los vecinos del mapa a veces confundía más que ayudaba. A veces, menos es más.
El "suavizado": Una técnica que mezcla el significado de los trozos conectados ayudó a que la IA no se perdiera detalles importantes, mejorando la capacidad de encontrar respuestas completas.

En Resumen

Este estudio nos dice que para enseñar a una IA a entender documentos legales o técnicos complejos, no basta con leer las palabras. Hay que entender cómo se conectan esas palabras.

Es como si, en lugar de darle a un turista una lista de direcciones sueltas, le dieras un mapa de metro donde ve las líneas que conectan los lugares. Así, el turista (la IA) no solo sabe dónde está, sino cómo llegar desde un punto hasta otro, entendiendo que para ir a la "Sección 3", primero debe pasar por la "Sección 1".

Conclusión final: Usar mapas de conexiones (gráficos) en lugar de simples listas de palabras hace que la IA sea mucho más inteligente y precisa cuando trabaja con normas y reglamentos complejos.

Resumen Técnico: RAG Basado en Grafos para Documentos Normativos

1. Planteamiento del Problema

Los documentos normativos, como las normas industriales y los estándares técnicos (ej. series ETSI EN 301 489), presentan desafíos únicos para los sistemas de Generación Aumentada por Recuperación (RAG) tradicionales:

Estructura Jerárquica Compleja: Estos documentos tienen una organización macro-estructural rigurosa (secciones, subsecciones) y dependencias cruzadas extensas.
Léxico Específico: Utilizan jerga técnica precisa y vocabulario formal que a menudo se pierde o se malinterpreta con las similitudes semánticas difusas de los modelos de incrustación (embeddings) densos estándar.
Limitaciones del RAG "Vanilla": Los enfoques tradicionales basados en vectores planos (flat vector retrieval) tienden a ignorar las relaciones lógicas y estructurales (padre-hijo, citas cruzadas), lo que resulta en una recuperación de contexto inexacta para preguntas que requieren entender la dependencia entre documentos o secciones.
Brecha de Conocimiento: Existe una falta de evidencia empírica sobre qué estrategia de indexación (ligera vs. basada en grafos) es óptima para este dominio específico.

2. Metodología Propuesta

Los autores proponen un pipeline de RAG especializado que integra la estructura del documento directamente en el flujo de recuperación, utilizando un modelo de información basado en grafos.

A. Modelo de Información (Grafo)
Se define un grafo $G = (IU, E)$ donde:

Nodos (InfoUnits): Unidades de información extraídas de los PDF, con propiedades intrínsecas (título y cuerpo).
Aristas (Relaciones):
- Parthood ( $P$ ): Relaciones jerárquicas (padre-hijo, sección-subsección). Se asume una única jerarquía de padres.
- Citas ( $C$ ): Relaciones de referencia entre unidades de información (internas o externas a otros documentos). Se modelan como relaciones muchos-a-muchos.

B. Pipeline de Recuperación (7 Módulos)
El sistema evalúa una arquitectura modular que combina técnicas densas y dispersas:

Parse Sections: Construcción del grafo extrayendo la estructura de la tabla de contenidos y el cuerpo del texto.
Split Chunks: División de secciones que exceden un umbral de longitud (mientras se preserva la jerarquía).
Embed InfoUnits: Generación de incrustaciones densas (usando IBM Granite) para cada unidad de información.
Smoothing (Suavizado): Técnica ligera que reemplaza la incrustación de un nodo por un promedio ponderado de su propia incrustación y la de sus vecinos (padre, hijos, hermanos, citas). Esto incorpora información relacional sin el costo computacional de una GNN completa.
BM25 Prefilter: Filtro inicial basado en palabras clave (Okapi BM25) para alta precisión léxica y baja latencia, crucial para la jerga técnica.
Dense Re-ranker: Reordenamiento semántico de los candidatos filtrados.
Fusión de Rangos Recíprocos (RRF): Combina las puntuaciones de BM25 y el re-ranker denso para un ranking final.
Expander & Graph Re-ranker: Expande los resultados iniciales recuperando vecinos en el grafo y los reordena basándose en la conexión con la semilla, la similitud con la consulta y una penalización por "hubs" (nodos muy conectados pero irrelevantes).

3. Contribuciones Clave

Metodología Especializada: Diseño de un enfoque de RAG adaptado a las características léxicas y estructurales de los estándares técnicos, superando las limitaciones del RAG plano.
Estrategias de Indexación Híbridas: Evaluación de técnicas de bajo costo computacional (como el smoothing de incrustaciones) para inyectar información estructural en el índice.
Dataset Sintético: Creación de un conjunto de datos de evaluación (Q&A) sintético derivado de la serie ETSI EN 301 489 (aprox. 50 normas, 3000 páginas), diseñado específicamente para probar la capacidad de recuperación de citas y estructura.
Análisis Comparativo: Estudio empírico riguroso comparando enfoques "Vanilla" (plano) vs. "Estructurados" (basados en grafos) y el impacto de componentes específicos (suavizado, expansión de vecinos).

4. Resultados Experimentales

Los experimentos se realizaron con más de 800 pares de preguntas y respuestas válidas, evaluando métricas de Precisión, Recuperación (Recall) y Reciprocal Rank (MRR).

Preservación de Estructura: Mantener la jerarquía oficial de las secciones (en lugar de fragmentar el texto plano) mejoró significativamente la precisión y el MRR, aunque no tuvo un impacto estadísticamente significativo en el Recall.
Fusión Híbrida (RRF): Combinar BM25 (disperso) y embeddings densos mediante RRF mejoró la precisión, aprovechando tanto la coincidencia léxica exacta (crucial en normas) como la semántica general.
Suavizado (Smoothing): La técnica de suavizado de incrustaciones mostró una mejora ligera pero prometedora en el Recall, sugiriendo que incorporar información relacional en los vectores ayuda a recuperar información más completa.
Expansión de Vecinos: La expansión de vecinos y el re-rankeo basado en grafos no resultaron efectivos en su configuración actual, indicando que la función de puntuación para los vecinos necesita más investigación para este dominio.
Conclusión General: La mejor compensación (trade-off) se logra combinando la preservación de la estructura con la división de fragmentos (chunking) y el uso de RRF.

5. Significado e Impacto

Viabilidad Escalable: Demuestra que no es necesario recurrir a modelos de grafos pesados (como GNNs complejas) para mejorar el RAG en normas; técnicas ligeras como el smoothing y la indexación estructurada son suficientes y eficientes.
Superación de la Similitud Semántica Pura: Confirma que para documentos técnicos altamente interconectados, la recuperación debe ir más allá de la similitud semántica simple para incluir dependencias lógicas y estructurales.
Marco para Automatización: Proporciona una base sólida para el desarrollo de sistemas automatizados de elaboración y análisis normativo, permitiendo a las instituciones gestionar grandes volúmenes de estándares con mayor precisión.
Dirección Futura: Se señala la necesidad de investigar soluciones híbridas más avanzadas para manejar consultas que requieren sintetizar información de pasajes distantes dentro de un mismo documento o entre documentos dispares.

En resumen, el artículo valida que integrar la topología estructural de los documentos normativos en el pipeline de RAG es fundamental para mejorar la relevancia del contexto y la precisión en la recuperación de información técnica especializada.