Resumen Técnico: Recuperación de Cierre de Citación y Atribución por Norma para la Respuesta a Preguntas sobre Cumplimiento Normativo en el Mundo Real

Definición del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) para el cumplimiento normativo enfrenta un cuello de botella crítico: la exigencia de una trazabilidad rigurosa a través de estructuras de autoridad multinivel. A diferencia de la Respuesta a Preguntas (QA) multihop tradicional, que se centra en la resolución de entidades, o de la QA legal estándar basada en el razonamiento de jurisprudencia, la QA de Cumplimiento Normativo exige búsquedas procedimentales estructuradas y cierre del conjunto de evidencias.

Los sistemas actuales de Generación Aumentada por Recuperación (RAG) fallan en este dominio debido a tres limitaciones principales:

1. Aplanamiento de las Aristas de Citación: Los enfoques de RAG basados en grafos a menudo reducen las citas regulatorias explícitas a aristas genéricas de relación-entidad, eliminando las distinciones semánticas necesarias para navegar delegaciones jerárquicas (por ejemplo, de estatutos a decretos de aplicación y luego a manuales operativos).
2. Recuperación Fragmentada: Las técnicas de descomposición o expansión de consultas a menudo producen subconsultas disjuntas que no logran unificar el conjunto de evidencias requerido, lo que conduce a cierres procedimentales incompletos.
3. Atribución Frágil Post Hoc: Los modelos generativos suelen tratar las citas como pies de página de forma libre añadidos después de la generación. Este enfoque "post hoc" carece de un enlace estructural entre las afirmaciones y las fuentes, lo que conduce a alucinaciones sistémicas de atribución donde los modelos citan normas incorrectas o fabrican disposiciones legales.

Metodología

Para abordar estos desafíos, los autores introducen RegOps-Bench y el marco RefWalk.

1. RegOps-Bench: Una Nueva Puntuación de Referencia

RegOps-Bench es un marco de evaluación diseñado para probar la navegación procedimental multinivel. Se instaura mediante un corpus regulatorio nacional de I+D de Corea que comprende 12 documentos que abarcan cinco niveles de autoridad (desde Estatutos hasta Manuales Operativos).

• Grafo de Conocimiento Operacional (OKG): El corpus se modela en un OKG donde los nodos representan artículos y las aristas se tipifican en seis clases específicas (por ejemplo, DELEGA_A, ESPECIFICA, REFIERE). Esta construcción determinista del grafo evita las alucinaciones generativas inherentes a la indexación basada en LLM.
• Construcción Desacoplada por Ejes: La puntuación de referencia genera 250 pares de preguntas y respuestas desacoplando el Tipo de Pregunta (intención sustantiva) del Nivel de Dificultad (complejidad estructural del conjunto de referencias). Esto permite el control independiente de la complejidad de la lógica procedimental (que va desde búsquedas de un solo salto hasta traversos condicionales de múltiples saltos entre documentos) sin confundir la redacción superficial.
• Verdad Terrenal: Las respuestas se definen por un "cierre de citación tipificado", que requiere la recuperación exhaustiva de todos los artículos gobernantes y el mapeo preciso de las afirmaciones a párrafos específicos de las normas.

2. RefWalk: El Marco Propuesto

RefWalk es un marco RAG unificado impulsado por un ancla de tema compartida que se propaga a través de la recuperación y la generación.

• Recuperación Multi-Vista Anclada al Tema:

  • Un LLM congelado extrae un Ancla de Tema estructurada (tema, actor, temporalidad, magnitud, contexto situacional) de la consulta.
  • Se construyen tres vistas de recuperación distintas a partir de este ancla:
    • q_narrow: Utiliza la pregunta original para la coincidencia semántica densa de detalles explícitos.
    • q_wide: Elimina la pregunta en bruto, confiando únicamente en temas y condiciones abstraídos para capturar referencias estructurales de múltiples saltos.
    • q_mid: Una combinación de ambas.
  • Expansión OKG: El conjunto inicial de candidatos se expande un salto a lo largo de las aristas que contienen citas en el OKG.
  • Fusión RRM: En lugar de la agregación estándar basada en suma (como RRF), RefWalk utiliza Máximo de Rangos Recíprocos (RRM). Esto preserva la señal más fuerte de cualquier vista "especialista" (por ejemplo, q_wide para enlaces estructurales) sin diluirla, asegurando que los candidatos clasificados altamente por una vista específica mantengan su prioridad.

• Esquema de Atribución por Norma:

  • Para eliminar las alucinaciones de atribución, RefWalk impone un enlace a nivel de esquema estricto durante la generación.
  • Se restringe al modelo para que genere afirmaciones exclusivamente como valores de matriz vinculados a claves rule_id específicas en un esquema JSON.
  • Esto evita que el modelo genere texto de forma libre y añada citas retroactivamente. En su lugar, las afirmaciones se fuerzan estructuralmente a ser atributos de sus normas gobernantes, asegurando que cada afirmación generada esté intrínsecamente vinculada a su fuente.

Contribuciones Clave

1. Formalización de la QA de Cumplimiento Normativo: El artículo formaliza la tarea como un problema de recorrido determinista de jerarquías regulatorias multinivel, distinto de la QA legal o multihop estándar.
2. RegOps-Bench: El lanzamiento de la primera puntuación de referencia diseñada específicamente para evaluar la navegación procedimental multinivel, que presenta un Grafo de Conocimiento Operacional y niveles de dificultad desacoplados por ejes.
3. Marco RefWalk: Una arquitectura RAG novedosa que unifica el recorrido del OKG con la atribución por norma. Introduce la fusión RRM para preservar señales especializadas y la generación restringida por esquema para imponer trazabilidad.
4. Validación Empírica: El marco demuestra mejoras significativas frente a líneas base del estado del arte (incluyendo LightRAG, HippoRAG-2 y PIKE-RAG) tanto en la recuperación de exhaustividad como en la precisión de las citas, particularmente en tareas complejas de referencia cruzada.

Resultados

Se realizaron experimentos en RegOps-Bench y en un conjunto de datos derivado de HIPAA (cumplimiento sanitario de EE. UU.).

• Rendimiento de Recuperación: RefWalk logró resultados del estado del arte en RegOps-Bench, con las ganancias más sustanciales en FullCov@10 (la fracción de consultas donde se recupera todo el conjunto de referencias de verdad terrenal). Mientras que los métodos de recuperación de línea base se saturaron en el conjunto de datos HIPAA de estructura plana, colapsaron en las tareas complejas de referencia cruzada de RegOps, mientras que RefWalk mantuvo un rendimiento robusto.
• Generación de Extremo a Extremo: RefWalk superó significativamente a las líneas base en F1 de Citación. El estudio de ablación ("sin esquema") reveló que eliminar el esquema de atribución por norma causó una caída brusca en la precisión de las citas, confirmando que la restricción del esquema es el principal impulsor para mitigar las alucinaciones de atribución.
• Estratificación de Dificultad: El análisis de rendimiento mostró que, aunque todos los modelos tuvieron éxito en búsquedas de ancla única (L1), la recuperación de línea base falló significativamente en los niveles L3 (múltiples saltos/entre documentos) y L4 (múltiples saltos condicionales). RefWalk demostró mejoras relativas significativas en F1 de Citación a través de estos niveles complejos.
• Análisis de Mecanismos: Se demostró que el uso de la fusión RRM fue crítico; las agregaciones estándar basadas en suma (RRF) diluyeron las señales estructurales requeridas para referencias cruzadas complejas entre documentos, lo que condujo a una degradación del rendimiento en niveles de dificultad superiores.

Significado y Afirmaciones

El artículo argumenta que la IA de cumplimiento normativo requiere un cambio de paradigma desde la generación amplia de respuestas hacia una atribución verificable y vinculada a la estructura. Los autores afirman que:

• Los sistemas RAG existentes son insuficientes para los ecosistemas regulatorios del mundo real debido a su incapacidad para navegar redes de delegación complejas y multinivel y a su dependencia de la citación post hoc.
• El marco RefWalk mitiga con éxito estas vulnerabilidades imponiendo un enlace estructural entre afirmaciones y fuentes, proporcionando una base sólida para desplegar IA trazable en dominios de alto riesgo.
• RegOps-Bench es necesario para someter a estrés a los sistemas más allá de las puntuaciones de referencia de estructura plana, revelando saturación en los métodos actuales que de otro modo pasaría desapercibida.

Los autores reconocen un compromiso entre precisión y exhaustividad inherente a sus restricciones de esquema conservadoras, señalando que, si bien esto garantiza una alta precisión de citación (crítica para el cumplimiento), puede sacrificar algo de exhaustividad en comparación con las líneas base de "citas ansiosas". También señalan que la construcción determinista del OKG depende de los patrones de citación formulaicos del corpus regulatorio específico utilizado, presentando un desafío para escalar a jurisdicciones menos estructuradas sin pipelines de extracción híbridos.