Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

Este artículo presenta SearchFireSafety, un nuevo benchmark diseñado para evaluar la capacidad de los modelos de lenguaje para recuperar evidencia jerárquica en regulaciones de seguridad contra incendios y abstenerse de alucinar cuando el contexto estatutario es insuficiente, revelando una compensación crítica entre la adaptación al dominio y la seguridad.

Lo esencial

🔍 Más allá de los casos: ¿Pueden las IAs entender las leyes sin alucinar?

Imagina que las leyes no son como un libro de cuentos donde cada historia es independiente. En cambio, imagina que las leyes son como un gigantesco árbol genealógico o una red de metro muy compleja.

En este artículo, los investigadores de la Universidad Nacional de Seúl (Corea del Sur) descubrieron que las Inteligencias Artificiales (IA) actuales tienen dos grandes problemas cuando intentan responder preguntas sobre leyes (específicamente sobre seguridad contra incendios):

1. El "Hueco de la Búsqueda": No saben cómo navegar por la red de citas entre documentos.
2. La "Alucinación Peligrosa": Cuando no tienen toda la información, en lugar de decir "no sé", inventan una respuesta segura pero falsa.

Vamos a desglosarlo con analogías.

---

1. El Problema: La Ley es un Laberinto, no una Pila de Papel

En la mayoría de los sistemas legales (como en EE. UU.), las leyes se basan en casos anteriores (como buscar en Google "casos similares"). Pero en sistemas como el de Corea del Sur, las leyes se basan en reglamentos que se actualizan constantemente.

La Analogía del Árbol Genealógico:
Imagina que un ciudadano pregunta: "¿Puedo poner una barandilla de seguridad en mi escuela?"

• La IA novata busca en su memoria la palabra "barandilla" y encuentra un artículo general que dice "las barandillas son seguras".
• La realidad legal es mucho más profunda. La ley general dice "sí", pero remite a un Decreto que dice "solo si mide más de 1.2 metros". Ese Decreto remite a una Regla Técnica que define exactamente cómo se mide esa altura. Y esa regla técnica tiene un diagrama en un PDF adjunto.

El "Hueco de la Búsqueda" (Statutory Retrieval Gap):
La pregunta del usuario y la respuesta final están en documentos que parecen no tener nada en común. Están separados por varios niveles de citas. Es como si tuvieras que encontrar la pieza de un rompecabezas que está en la habitación de al lado, pero la puerta está cerrada y solo tienes un mapa que dice "mira en la habitación de al lado". Las IAs tradicionales se pierden en el pasillo.

---

2. La Solución: El Mapa del Metro (SEARCHFIRESAFETY)

Para arreglar esto, los investigadores crearon un nuevo banco de pruebas llamado SEARCHFIRESAFETY.

La Analogía del Metro:
En lugar de buscar solo por palabras clave (como buscar una estación por su nombre), crearon un mapa del metro (un gráfico de citas).

• Si el usuario pregunta por "barandillas" (Estación A), el sistema sabe que debe tomar la línea de citas hasta el "Decreto" (Estación B) y luego al "Reglamento Técnico" (Estación C).
• Usaron una técnica llamada Reranking Estructurado (SAR). Imagina que tienes un grupo de amigos (documentos) que te recomiendan un restaurante. En lugar de elegir el que más te suena, eliges el que te recomienda tu mejor amigo que ya ha ido al lugar exacto. El sistema sigue las "líneas de conexión" explícitas entre las leyes para encontrar la respuesta correcta, incluso si las palabras son muy diferentes.

Resultado: ¡Funciona! Las IAs con este "mapa" encuentran la respuesta correcta mucho mejor que las que solo buscan por palabras.

---

3. El Peligro: Cuando la IA "Adivina" en lugar de Callar

Aquí viene la parte más importante y preocupante.

La Analogía del Doctor:
Imagina que vas al médico con un dolor de cabeza.

• Escenario A (Contexto Completo): El médico tiene tu historial, tus análisis de sangre y una radiografía. Te dice: "Es migraña, toma esto". (¡Perfecto!)
• Escenario B (Contexto Incompleto): El médico solo tiene tu nombre, pero no tiene tus análisis ni tu historial.
  • Una IA segura diría: "No tengo suficiente información para diagnosticar, necesito más datos".
  • Una IA insegura (como las que probaron) diría: "Seguro es migraña, toma esto", con total confianza, aunque esté inventando la respuesta.

El Hallazgo Trágico:
Los investigadores descubrieron que cuando entrenan a las IAs con muchas leyes (para que sean "expertas"), estas se vuelven demasiado confiadas.

• Si les quitas una parte del documento (como quitar la hoja del "Reglamento Técnico" del ejemplo anterior), la IA no se detiene.
• En lugar de decir "No sé", inventa una respuesta que suena muy legal y convincente, pero que es falsa.
• Peor aún: Las IAs que fueron entrenadas específicamente en leyes (para ser mejores) son las que peor se comportan en este aspecto. Se vuelven tan seguras de sí mismas que olvidan tener humildad cuando falta información.

---

4. ¿Por qué importa esto?

Porque estamos hablando de seguridad contra incendios.
Si una IA le dice a un arquitecto que "sí, es seguro poner una barandilla de 1 metro" cuando la ley exige 1.2 metros, y la IA inventó esa respuesta porque no encontró el documento técnico... podría haber un incendio y la gente podría salir herida.

🏁 Conclusión en una frase

Este estudio nos dice que para que las IAs sean útiles en leyes, no basta con que sean "listas" y encuentren documentos; necesitan aprender la humildad de decir "no sé" cuando no tienen toda la información, y necesitan un "mapa" especial para navegar entre las leyes que se citan unas a otras.

En resumen:

1. El problema: Las leyes son redes complejas, no listas simples.
2. La mejora: Usar un mapa de conexiones (gráficos) ayuda a encontrar la respuesta.
3. El riesgo: Las IAs muy inteligentes a menudo mienten con confianza cuando les falta información, lo cual es peligroso en temas de seguridad.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA" en español.

1. Problema: La Brecha de Recuperación Estatutaria y la Seguridad del Modelo

El artículo identifica una limitación crítica en los actuales sistemas de Inteligencia Artificial Legal (Legal AI) y Benchmarks (puntos de referencia). La mayoría de las investigaciones se centran en sistemas de Derecho Común (Common Law), donde la evidencia legal reside en casos judiciales independientes y estáticos. Sin embargo, en sistemas de Derecho Civil (Statute-Centric), como el de Corea del Sur, el razonamiento legal sigue un paradigma diferente:

• Naturaleza Jerárquica y Fragmentada: Las leyes no son documentos aislados, sino redes interdependientes de citas. Una respuesta legal a menudo requiere navegar desde una ley general (Act) hasta decretos de ejecución, reglas de aplicación y estándares técnicos.
• La Brecha de Recuperación Estatutaria (Statutory Retrieval Gap): Existe una desconexión semántica y léxica entre la consulta del usuario (que suele usar lenguaje coloquial o términos de alto nivel) y el documento técnico específico que contiene la respuesta (estándares numéricos o detalles de instalación). Los recuperadores densos tradicionales (basados en similitud semántica) fallan al no poder cruzar estas jerarquías de citas.
• Riesgo de Alucinación y Seguridad: En dominios críticos para la seguridad (como la seguridad contra incendios), los modelos no solo deben recuperar información, sino también abstenerse de responder si el contexto legal es insuficiente. Los modelos actuales tienden a "alucinar" respuestas confiables pero incorrectas cuando falta evidencia clave, lo cual es peligroso en aplicaciones de cumplimiento normativo.

2. Metodología y Propuesta: SEARCHFIRESAFETY

Los autores presentan SEARCHFIRESAFETY, un nuevo benchmark diseñado específicamente para evaluar la recuperación consciente de la estructura y la seguridad en dominios regulatorios basados en estatutos.

A. Construcción del Corpus y Gráfico de Citas

• Dominio: Se utiliza la regulación de seguridad contra incendios de Corea del Sur como caso de estudio representativo.
• Corpus Sincronizado: Se recopilaron 131 estatutos y regulaciones actualizados a abril de 2025, eliminando el ruido temporal de reformas legales anteriores (como la bifurcación de la NFSC).
• Procesamiento Multimodal: Se implementó un pipeline "Human-in-the-Loop" para convertir tablas complejas, fórmulas matemáticas y diagramas técnicos (imágenes/PDFs) en texto estructurado, asegurando cero pérdida de información.
• Grafo de Citas: Se construyó un grafo explícito donde los nodos son unidades atómicas de texto (artículos, párrafos) y las aristas son citas legales. Se desarrollaron parsers para detectar tanto hipervínculos explícitos como referencias textuales implícitas (ej. "según el artículo anterior"), creando una red de citas totalmente conectada.

B. Diseño de Datos de Evaluación (Doble Fuente)

El benchmark consta de dos conjuntos de preguntas y respuestas (QA) para evaluar capacidades distintas:

1. QA de Expertos del Mundo Real (Enfoque en Recuperación): 876 pares extraídos del portal de peticiones de la Agencia Nacional de Bomberos. Estos requieren recuperar evidencia fragmentada a través de cadenas de citas para responder consultas complejas.
2. QA Sintética Multi-hop (Enfoque en Seguridad): 3,395 preguntas de opción múltiple generadas sintéticamente. Se diseñaron bajo una dependencia condicional estricta: una pregunta solo es respondible si se tienen ambos documentos (A y B). Si solo se proporciona el documento A (contexto parcial), la respuesta correcta es "No se puede determinar". Esto prueba la capacidad del modelo para abstenerse en lugar de alucinar.

C. Estrategias de Recuperación y Reranking

Para abordar la brecha de recuperación, los autores proponen Structure-Aware Reranking (SAR):

• Mecanismo: A diferencia de los métodos que expanden la consulta en el espacio vectorial continuo (como Rocchio), SAR opera en el espacio discreto del grafo.
• Funcionamiento: Utiliza los documentos recuperados inicialmente como "semillas" y propaga su relevancia a los vecinos explícitamente citados en el grafo legal.
• Penalización de Ruido: Introduce un mecanismo de doble penalización para evitar que nodos "hubs" genéricos (como el Artículo 1) dominen los resultados, ponderando la relevancia estructural basada en la profundidad de la delegación y el grado de conexión.

3. Resultados Clave

Los experimentos se realizaron con varios modelos de lenguaje grandes (LLMs), incluyendo Qwen3, Exaone, HyperClovaX y GPT-4o.

A. Rendimiento de Recuperación

• Superioridad de SAR: La estrategia SAR superó consistentemente a los métodos basados solo en similitud semántica (BM25, Dense Retrievers) y a técnicas de fusión de rangos (RRF) o expansión de consultas (Rocchio).
• Métricas: SAR logró los mejores resultados en Recall@50 (73.49% para Qwen3) y nDCG@50, demostrando que las conexiones estructurales explícitas son esenciales para recuperar evidencia que está semánticamente distante pero legalmente vinculada.
• Visualización: El análisis de grafos locales mostró que los enlaces explícitos crean puentes directos hacia la evidencia correcta que los vecinos por similitud coseno (kNN) no logran encontrar.

B. Evaluación de Seguridad y Abstención

• Fallo en Contexto Parcial: En el escenario de "Contexto Parcial" (donde falta el documento de soporte), la mayoría de los modelos de código abierto (Open-Weight) fallaron estrepitosamente, generando respuestas confiables pero incorrectas (alucinaciones) en lugar de abstenerse.
• El Efecto de la Adaptación de Dominio (CPT): Un hallazgo crítico fue que el Pre-entrenamiento Continuo (CPT) en corpus legales, aunque mejora la precisión en contextos completos y cero disparos, degrada significativamente la seguridad. Los modelos adaptados se vuelven más propensos a alucinar con confianza cuando la evidencia es insuficiente, perdiendo la capacidad de reconocer la incertidumbre.
• GPT-4o vs. Modelos Abiertos: GPT-4o mostró una mayor capacidad de abstención en contextos parciales, mientras que los modelos más pequeños o adaptados tendieron a adivinar.

4. Contribuciones Principales

1. Benchmark SEARCHFIRESAFETY: La primera evaluación integral que combina recuperación consciente de la estructura jerárquica y pruebas de seguridad (abstención) en un dominio regulatorio de estatutos.
2. Grafo de Citas Legal: Una metodología robusta para construir y anotar grafos de citas legales a partir de documentos no estructurados, permitiendo la navegación multi-hop.
3. Estrategia SAR: Una técnica de reranking basada en grafos que demuestra que la estructura explícita de las leyes es un recurso superior a la mera proximidad semántica para la recuperación legal.
4. Análisis de Compensación Seguridad-Rendimiento: Evidencia empírica de que la adaptación de dominio (fine-tuning/CPT) puede comprometer la seguridad del modelo al reducir su capacidad de abstención en escenarios de información incompleta.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA Legal por varias razones:

• Cambio de Paradigma: Mueve el enfoque de la recuperación de casos (Common Law) a la recuperación de estatutos (Civil Law), reconociendo que la estructura jerárquica es tan importante como el contenido semántico.
• Seguridad Crítica: Destaca que en dominios de alto riesgo (como la seguridad contra incendios), la precisión no es suficiente; la capacidad del modelo para decir "no sé" ante evidencia incompleta es una métrica de seguridad vital.
• Advertencia sobre el Fine-Tuning: Advierte a los investigadores y practicantes que el entrenamiento adicional en datos legales puede hacer que los modelos sean más "confiados" pero menos "cautos", aumentando el riesgo de decisiones erróneas en entornos regulatorios reales.
• Futuro de los Sistemas RAG: Sugiere que los sistemas de Generación Aumentada por Recuperación (RAG) para leyes deben integrar explícitamente grafos de conocimiento y mecanismos de verificación de incertidumbre, en lugar de depender únicamente de embeddings densos.

En conclusión, el artículo establece que para que la IA sea fiable en la regulación legal, debe ser capaz de navegar la complejidad estructural de las leyes y, más importante aún, debe tener la humildad de abstenerse cuando la evidencia legal no es completa.