Chunking German Legal Code

Resumen Técnico: Fragmentación del Código Civil Alemán

Enunciado del Problema
La adopción creciente de Modelos de Lenguaje Grande (LLM) en servicios legales requiere sistemas robustos de Generación Aumentada por Recuperación (RAG) para mitigar las alucinaciones. Sin embargo, la recuperación efectiva se ve obstaculizada por el fenómeno "perdido en el medio" y las limitaciones de la ventana de contexto, lo que exige que la información recuperada sea pequeña y altamente relevante. Un desafío crítico en los dominios legales, específicamente con el Código Civil Alemán (Bürgerliches Gesetzbuch, BGB), es que las estrategias de fragmentación estándar a menudo rompen la estructura jerárquica deliberada del texto legal. Las normas legales se organizan en unidades específicas (secciones, subsecciones, oraciones) donde las condiciones y las consecuencias están estrechamente acopladas. Las ventanas de tamaño fijo tradicionales o las agregaciones semánticas corren el riesgo de romper estos límites lógicos, lo que lleva a una pérdida de contexto esencial para la respuesta precisa a preguntas legales (QA). Además, los métodos avanzados de fragmentación introducen una sobrecarga computacional significativa en términos de tiempo de construcción del índice, latencia de consulta y requisitos de almacenamiento.

Metodología
Los autores evalúan una gama comprehensiva de estrategias de segmentación en el corpus del BGB, normalizado en 2.455 secciones jerárquicas. La evaluación utiliza un conjunto de datos de preguntas y respuestas legales (gerlayqa-bgb-paraphrased) que contiene 525 preguntas de legos con etiquetas doradas a nivel de sección. El estudio compara los siguientes enfoques:

1. Líneas base que preservan la estructura:
   • Ventanas de tamaño fijo: Ventanas superpuestas de tamaños de tokens variables (por ejemplo, 16/4 a 256/64).
   • Unidades base: División del texto en límites legales naturales: Secciones (§), Subsecciones (Absätze), Oraciones (Sätze) y Proposiciones (declaraciones legales autocontenidas).
2. Estrategias avanzadas/intensivas en LLM:
   • Fragmentación estilo Lumber: Utiliza un LLM para identificar dinámicamente límites semánticos, creando fragmentos de longitud variable que pueden abarcar múltiples secciones legales.
   • Fragmentación contextual: Aumenta las unidades base con prefijos contextuales generados por LLM (jerarquía y texto completo de la sección) antes de la incrustación.
   • Agrupación semántica: Agrupa unidades base semánticamente similares utilizando KMeans, agrupando las incrustaciones en vectores de clúster únicos.
   • RAPTOR: Un método de recuperación jerárquica que agrupa y resume recursivamente fragmentos en una estructura de árbol, enrutando las consultas a través de nodos de resumen hasta los nodos hoja.

Métricas de Evaluación
El estudio mide cuatro dimensiones clave:

• Recall@10: La capacidad de recuperar las 10 secciones distintas superiores correctas que coinciden con las etiquetas doradas.
• Latencia de consulta: Tiempo de búsqueda y agregación en línea (excluyendo la incrustación inicial).
• Tiempo de construcción del índice: Costo computacional fuera de línea para construir el índice.
• Requisitos de almacenamiento: Huella de memoria persistente del índice y los metadatos.

Resultados Clave

• Rendimiento de recuperación: Las estrategias alineadas con la estructura legal inherente lograron el mayor recall. La recuperación de subsecciones tuvo el mejor rendimiento (Recall@10 ≈ 0,47), seguida de cerca por la recuperación de secciones (≈ 0,46). La recuperación de oraciones y proposiciones formó el siguiente nivel. En contraste, los métodos que anulan la estructura legal tuvieron un peor rendimiento: la fragmentación estilo Lumber y de tamaño fijo arrojaron el recall más bajo, siendo la configuración de tamaño fijo más gruesa (256/64) la que peor funcionó. La agrupación semántica y RAPTOR ocuparon un nivel intermedio, generalmente con un rendimiento inferior a las líneas base estructurales.
• Latencia: RAPTOR fue el método más rápido (aprox. 2,0–2,3 ms) debido al recorte jerárquico del espacio de búsqueda. La agrupación semántica y Lumber fueron los más lentos (13–16 ms) debido a la consolidación extensa posterior a la recuperación. Entre las líneas base planas, la latencia escaló como Sección ≈ Proposición < Oración < Subsección, ya que las unidades más finas se mapean a menos secciones padre distintas, reduciendo la sobrecarga de agregación.
• Tiempo de construcción: Los índices planos deterministas (Tamaño fijo, Sección) fueron los más rápidos (menos de 1 minuto). RAPTOR y Lumber requirieron significativamente más tiempo (3–11 horas) debido a las llamadas recursivas al LLM para la resumación y la detección de límites. La fragmentación contextual también incurrió en altos costos (38–51 minutos) debido al preprocesamiento con LLM.
• Almacenamiento: Tamaño fijo (256/64) y Agrupación semántica fueron los más compactos (aprox. 15 MB) debido a la reducción de vectores. El almacenamiento aumentó monótonamente para las líneas base planas a medida que aumentaba la granularidad (Sección < Subsección < Oración < Proposición). RAPTOR requirió más espacio que las líneas base planas debido al almacenamiento de nodos hoja y de resumen.

Significado y Afirmaciones
El documento demuestra un compromiso crítico entre el enriquecimiento semántico y la eficiencia operativa. Los autores afirman que para el texto legal codificado como el BGB, preservar la estructura específica del dominio es más efectivo que intentar enriquecer semánticamente o reorganizar el texto mediante métodos complejos impulsados por LLM.

• Integridad estructural: Los límites deliberados trazados por los legisladores (secciones y subsecciones) agrupan naturalmente las condiciones y las consecuencias. La recuperación en esta granularidad se alinea tanto con la intención del legislador como con las etiquetas doradas de evaluación, whereas los métodos que agrupan disposiciones basándose en la similitud temática (Agrupación semántica) o la coherencia predicha (Lumber) tienden a difuminar distinciones legales específicas, reduciendo el recall.
• Eficiencia vs. Complejidad: Los métodos más simples que preservan la estructura ofrecen una precisión de recuperación superior o comparable con costos computacionales significativamente menores (tiempo de construcción, latencia y almacenamiento) en comparación con técnicas intensivas en LLM como RAPTOR y Lumber.
• Limitaciones: El estudio reconoce que los resultados son específicos del BGB y de las consultas de legos. No aborda la resolución de referencias cruzadas (enlaces explícitos o implícitos entre secciones), lo que sigue siendo una vía potencial para futuras mejoras. La evaluación se centra en la corrección de la recuperación en lugar del rendimiento generativo aguas abajo.

En conclusión, los autores argumentan que para la recuperación de información legal en estatutos estructurados, el enfoque "más simple"—respetar la jerarquía nativa del código—suele ser el más robusto y eficiente, desafiando la suposición de que una segmentación semántica más compleja es siempre superior.