Controlling Authority Retrieval: A Missing Retrieval Objective for Authority-Governed Knowledge

1. El Problema: Recuperación de Autoridad Controladora (CAR)

El artículo identifica una falla estructural en los sistemas de Recuperación Aumentada por Generación (RAG) y los motores de búsqueda semántica estándar cuando se aplican a dominios donde el conocimiento se acumula bajo autoridad formal (ley, regulación de medicamentos, seguridad de software).

• La Paradoja: En estos dominios, un documento posterior puede anular formalmente a uno anterior, incluso si son semánticamente muy distantes.
  • Ejemplo: Un aviso de vulnerabilidad (CVE) describe un fallo. Dos meses después, una nota de parche lo anula. Si un ingeniero pregunta "¿El fallo sigue sin parchar?", el documento más semánticamente relevante es el aviso de vulnerabilidad (mismo vocabulario), no la nota de parche (vocabulario diferente: "versión 4.17.12", "arreglado").
• La Falla de los Sistemas Actuales: Los sistemas basados en relevancia semántica ($\arg \max s(q, d)$) recuperan el documento "ancla" (el aviso original) pero ignoran el documento "controlador" (la anulación). Esto lleva a respuestas incorrectas y peligrosas (ej. afirmar que un sistema es inseguro cuando ya tiene parche).
• Definición Formal (CAR): El objetivo no es recuperar el documento más relevante, sino recuperar la frontera activa ($front(cl(A_k(q)))$) del cierre de autoridad del conjunto de anclas semánticas.
  • $cl(A)$: Cierre de autoridad (todos los documentos que anulan a los documentos en $A$).
  • $front(S)$: Elementos máximos no anulados en un conjunto $S$.

2. Metodología y Marco Teórico

El autor formaliza el problema mediante una serie de teoremas y proposiciones que descomponen la recuperación en componentes matemáticos independientes de la arquitectura del modelo.

A. Formalización Matemática

• Relación de Anulación ($\rightsquigarrow$): Una relación de orden parcial donde $d_1 \rightsquigarrow d_2$ si $d_2$ anula a $d_1$ basándose en reglas de dominio, tiempo y alcance de entidad.
• Divergencia Semántico-Autoridad ($\Delta(q)$): Mide la diferencia entre la puntuación del documento ancla (más relevante) y la del documento controlador (anulación). Si $\Delta(q) > 0$, la recuperación estándar falla inevitablemente.
• Métrica TCA (Temporal Compliance Accuracy): Una nueva métrica que evalúa si el conjunto recuperado $R$ cumple dos condiciones:
  1. Inclusión de la Frontera: Todos los documentos activos de la cadena de autoridad están en $R$.
  2. No Ignorar Anuladores: Si un documento en $R$ ha sido anulado, su anulador también debe estar en $R$.

B. Teoremas Clave

1. Teorema 1 (Desacoplamiento de Objetivos): Demuestra que $TCA$y$Recall@k$ están desacoplados. Se puede tener una recuperación semántica perfecta ($Recall@k=1$) y un $TCA=0$ si el documento anulado tiene mayor puntuación semántica que el anulador.
2. Teorema 2 (Necesidad de Cierre): Cualquier sistema que logre $TCA=1$ debe realizar una búsqueda proactiva basada en entidades, no solo basada en relevancia. Debe buscar eventos posteriores del mismo alcance de entidad, independientemente de su similitud semántica con la consulta.
3. Teorema 3 (Descomposición): El problema se descompone en tres pasos necesarios:
   • Descubrimiento de la ancla (recuperar el documento inicial).
   • Resolución de autoridad (extender la cadena mediante el alcance de la entidad).
   • Filtrado de estado activo (identificar la frontera).
4. Teorema 4 (Caracterización de Corrección): Establece las condiciones necesarias y suficientes para que un conjunto recuperado sea correcto: debe contener la frontera activa y no ignorar anuladores.
5. Proposición 2 (Límite Superior): Para cualquier algoritmo indexado por alcance (sin acceso a la relación de anulación), existe un límite superior duro: $TCA \leq \phi(q) \cdot R_{anchor}$. Esto significa que si hay ambigüedad en el alcance ($\kappa(q) > 1$), ningún algoritmo puramente semántico puede superar cierto techo de rendimiento.

3. Arquitectura Propuesta: Pipeline de Dos Etapas

Basado en los teoremas, el paper propone una arquitectura simple pero efectiva:

1. Etapa 1 (Descubrimiento de Ancla): Recuperación semántica (BM25 o Dense) para encontrar el documento inicial relevante (ej. el aviso de vulnerabilidad).
2. Etapa 2 (Resolución de Autoridad):
   • Extraer el ID de entidad (ej. CVE-ID, nombre de la empresa, ticker).
   • Realizar una búsqueda indexada por entidad en todo el corpus para encontrar todos los documentos posteriores relacionados.
   • Aplicar reglas de dominio (o un grafo de anulación recuperado, RSSG) para filtrar y mantener solo los documentos activos (la frontera).

4. Resultados Empíricos

El estudio valida la teoría en tres corpora reales independientes: Seguridad (GHSA/NVD), Legal (SCOTUS) y Médico/Regulatorio (FDA).

Rendimiento en Dominios Reales

• Hallazgo Crítico: Los modelos densos (incluso grandes como E5-large con 335M parámetros) fallan estrepitosamente en dominios de autoridad. En el caso de FDA, el rendimiento es casi nulo (0.064) porque el vocabulario de los avisos de retirada es administrativo y disjunto del vocabulario clínico de las consultas.
• Efecto de Escala: Aumentar el tamaño del modelo no ayuda; de hecho, en la familia E5, modelos más grandes empeoran el TCA porque se alinean demasiado bien con el documento ancla (el error), ignorando el documento controlador.
• Calidad de Respuesta LLM: Al usar GPT-4o-mini sobre los resultados de recuperación:
  • Con recuperación densa: El 39% de las consultas generan afirmaciones confiables pero incorrectas ("no parchado").
  • Con el pipeline de 2 etapas: Las afirmaciones incorrectas caen al 16.4%.

5. Contribuciones Clave

1. Formalización Teórica: Define la Recuperación de Autoridad Controladora (CAR) como un problema distinto a la recuperación semántica estándar, con condiciones de corrección matemáticas (Teorema 4).
2. Demostración de Imposibilidad: Prueba que los algoritmos basados puramente en relevancia semántica (scope-indexed) tienen un límite superior de rendimiento que no puede superarse sin acceso a la relación de autoridad o búsqueda proactiva de entidades.
3. Arquitectura de Referencia: Propone y valida un pipeline de dos etapas que separa la recuperación de la ancla de la resolución de autoridad, logrando TCA > 0.97 en seguridad y > 0.77 en medicina.
4. Benchmarks Nuevos: Introduce FINSUPERQA (cumplimiento financiero) y valida en GHSA, SCOTUS y FDA, demostrando que el problema es transversal a dominios críticos.
5. Código y Datos: Libera cuatro conjuntos de datos, adaptadores de dominio y un evaluador de puntuación único.

6. Significado e Impacto

El paper concluye que la recuperación de conocimiento en dominios regulados no es un problema de "mejorar embeddings" o "entrenar más datos", sino un problema arquitectónico.

• RAG Actual es Insuficiente: Los sistemas RAG actuales, que dependen de la similitud semántica, son inherentemente inseguros para tareas de cumplimiento normativo, legal o de seguridad donde la vigencia de la información es crítica.
• Solución Práctica: La solución no requiere modelos masivos, sino una arquitectura híbrida que combine la recuperación semántica (para encontrar el contexto) con la recuperación estructurada basada en entidades (para encontrar la anulación).
• Implicación Industrial: Ignorar este problema conduce a decisiones operativas erróneas (ej. no aplicar parches de seguridad, seguir leyes derogadas). La métrica TCA debe ser el estándar para evaluar sistemas en estos dominios, no solo la precisión semántica.

En resumen, el artículo demuestra que para dominios gobernados por autoridad, la relevancia semántica es una métrica engañosa y que la recuperación correcta requiere explícitamente modelar la relación de anulación y el alcance de la entidad.