Resumen Técnico: Del RAG Naíf al Recuperación Agéntica Profunda para el Cumplimiento Regulatorio

1. Dominio del Problema y Motivación

El artículo aborda el despliegue de Modelos de Lenguaje de Gran Escala (LLMs) dentro de industrias altamente reguladas, centrándose específicamente en la necesidad de Ontario Power Generation (OPG) de analizar miles de páginas de presentaciones regulatorias para la Ontario Energy Board (OEB). El desafío central no es simplemente responder preguntas, sino diseñar un sistema que recupere de manera fiable, eficiente y verificable contexto autoritativo de un corpus extenso, propietario y en constante evolución.

Los autores identifican un modo de fallo crítico en las implementaciones estándar: la Rotación de Contexto (Context Rot). Argumentan que la longitud del contexto no es un recurso gratuito. A medida que las ventanas de contexto se expanden con tokens irrelevantes, la competencia de atención degrada la calidad de la respuesta y las señales de recuperación se debilitan. En consecuencia, el objetivo cambia de maximizar el volumen bruto de contexto a maximizar la densidad de evidencia relevante.

El artículo rechaza explícitamente el ajuste fino (fine-tuning) específico del dominio como la solución primaria para este caso de uso. El ajuste fino se considera económicamente desajustado para corpus en evolución donde el conocimiento se congela tras el entrenamiento, mientras que las presentaciones regulatorias se actualizan frecuentemente. En su lugar, los autores abogan por la Ingeniería de Contexto (Context Engineering): la construcción deliberada de un contexto de inferencia de alta señal mediante la recuperación, el filtrado y la compresión.

2. Evolución Metodológica

El artículo traza la evolución del flujo de recuperación a través de tres etapas distintas, cada una motivada por los modos de fallo de la iteración anterior.

Etapa I: Línea Base de RAG Naíf

• Arquitectura: Un flujo estándar que involucra OCR/extracción estructurada, fragmentación (chunking) (500–800 tokens), incrustación (embedding) y recuperación híbrida (vector denso + palabras clave) con re-clasificación (re-ranking) mediante cross-encoder.
• Limitaciones: El sistema es determinista y sin estado (stateless). Si la recuperación inicial no logra presentar los fragmentos relevantes debido a una discordancia de vocabulario o dependencias de múltiples saltos (multi-hop), el LLM no puede autocorregirse. La única mitigación es aumentar el número de fragmentos recuperados ($k$), lo que aumenta linealmente el costo y la latencia, exacerbando la rotación de contexto.
• Resultado: Aunque es funcional para búsquedas simples, carece de la flexibilidad para manejar consultas regulatorias complejas de múltiples saltos.

Etapa II: Recuperación Agéntica mediante Llamada a Funciones (Function Calling)

• Arquitectura: El LLante transiciona de un consumidor pasivo a un recuperador activo. Está equipado con una herramienta de búsqueda y reformula iterativamente las consultas basándose en resultados intermedios (retroalimentación de relevancia pseudo).
• Mecanismos Clave:
  • Descubrimiento Progresivo: El agente emite múltiples llamadas a herramientas con consultas refinadas, estrechando el espacio de búsqueda mediante filtros de metadatos (por ejemplo, IDs de exhibición específicos o años de casos de tarifas).
  • Escalada de Fragmento a Documento: Se introduce una regla de decisión para escalar de la recuperación a nivel de fragmento a la lectura de documentos completos solo cuando la ganancia de evidencia esperada ($\Delta U$) justifica la latencia añadida ($\Delta T$) y el costo ($\Delta C$).
  • Partición de Capacidades: Para satisfacer las restricciones de residencia de datos en Canadá, el contenido visual (gráficos/mapas) que requiere inferencia visual se delega a un modelo alojado en Canadá, mientras que el agente de razonamiento principal permanece separado.
• Limitaciones: La llamada a funciones introduce una sobrecarga de esquemas JSON. En los peores escenarios con muchas consultas de baja calidad, el consumo de tokens puede exceder la línea base de la Etapa I.

Etapa III: Recuperación Agéntica Profunda (PEA-CAE)

• Arquitectura: Un sistema maduro que cuenta con planificación explícita, delegación de subagentes jerárquicos y síntesis de herramientas basada en código.
• Mecanismos Clave:
  • Planificación Explícita: El agente descompone consultas complejas en una secuencia de sub-preguntas antes de que comience la recuperación, almacenando los hallazgos intermedios en la memoria de trabajo.
  • Subagentes Jerárquicos: Para prevenir la rotación de contexto en cadenas de razonamiento largas, el agente principal genera subagentes subordinados para tareas delimitadas. Los subagentes realizan una investigación profunda y devuelven únicamente resúmenes comprimidos, evitando que los artefactos de recuperación intermedios consuman la ventana de contexto del agente principal.
  • Síntesis de Herramientas Basada en Código: En lugar de funciones JSON predefinidas, el agente escribe código Python/Bash en tiempo de ejecución para interactuar con APIs y procesar datos. Esto amortiza la sobrecarga de las herramientas y permite una expresividad combinatoria sin un límite fijo de herramientas.
  • Marco PEA-CAE: El sistema se formaliza como Adquisición Progresiva de Evidencia con Escalada Consciente del Costo (Progressive Evidence Acquisition with Cost-Aware Escalation). Impone reglas para filtrar primero, comprimir temprano, escalar tarde y comprimir la amplitud.

3. Contribuciones Principales

El artículo realiza cinco contribuciones primarias:

1. Caracterización Algorítmica: Un análisis etapa por etapa de tres arquitecturas de recuperación desplegadas en producción, vinculando modos de fallo específicos con transiciones arquitectónicas.
2. Marco Formal (PEA-CAE): Una formalización de la política de recuperación madura que equilibra la adquisición de evidencia con las restricciones de costo y latencia.
3. Análisis Empírico: Datos de trazas operativas que demuestran las compensaciones entre la utilización de la ventana de contexto, la precisión de la recuperación y la frecuencia de escalada.
4. Patrón de Soberanía de Datos: Una estrategia de partición de capacidades para despliegues de múltiples jurisdicciones, separando el procesamiento visual (alojado localmente) del razonamiento general.
5. Conexión Teórica: Un análisis comparativo que vincula el diseño de sistemas prácticos (reformulación adaptativa de consultas, descubrimiento progresivo de documentos) con la teoría clásica de recuperación de información y la teoría de forrajeo de información.

4. Resultados y Observaciones

Basado en las trazas operativas del sistema de la Etapa III (Agente Profundo):

• Tasa de Éxito: En una muestra de 14 ejecuciones, las 6 ejecuciones agénticas de OEB fueron exitosas.
• Latencia: Las duraciones de las tareas variaron de 24.8 segundos a 223 segundos (mediana de 92.1s), lo que refleja un bucle de investigación sostenido en lugar de una búsqueda de un solo paso.
• Eficiencia de la Escalada: El sistema demostró una relación de búsqueda-a-escalada de aproximadamente 9.6:1. La extracción de documentos completos ocurrió en solo ~10% de los eventos de recuperación, confirmando la intención de diseño de "escalada selectiva".
• Varianza de Latencia: La extracción de documentos completos mostró una alta latencia de cola (hasta 12.14s), lo que refuerza la necesidad de mantener la escalada selectiva para evitar la degradación del rendimiento.

5. Significado y Reivindicaciones

El artículo sostiene que, para corpus regulatorios extensos y en evolución, la ingeniería de contexto es un camino más tratable y económicamente viable que el ajuste fino específico del dominio. La "inteligencia" del sistema no reside en los pesos del modelo, sino en los algoritmos que construyen ventanas de contexto de alta señal.

Los autores argumentan que la progresión desde el RAG naíf hacia la recuperación agéntica profunda refleja ideas clásicas de la recuperación de información, introduciendo primitivas de sistema prácticas tales como:

• Reformulación adaptativa de consultas.
• Descubrimiento progresivo de documentos.
• Resumen de subagentes jerárquicos.

La tesis central es que el contexto sigue siendo un recurso escaso incluso a medida que crecen los tamaños nominales de las ventanas. Por lo tanto, la estrategia óptima es recuperar progresivamente, escalar selectivamente y comprimir agresivamente. El artículo concluye que el éxito operativo en la IA regulada depende menos de la adaptación del modelo y más de la gestión conjunta de la calidad de la recuperación, la sobrecarga de las herramientas, la latencia y el crecimiento del contexto.