Resumen Técnico: LayerRAG-Bench

Planteamiento del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) agénticos integran evidencia externa, llamadas a herramientas, interfaces estructuradas, permisos y estado persistente. Mientras que las métricas existentes evalúan la fidelidad textual y la corrección de la respuesta, a menudo confunden fallos derivados de distintas capas operativas. Un sistema puede producir una respuesta que parece textualmente fundamentada, pero que falla debido a evidencia obsoleta, desajustes de esquema, denegaciones de autorización o contextos de sesión incorrectos. Los enfoques de evaluación actuales corren el riesgo de atribuir erróneamente el éxito; por ejemplo, la normalización de esquemas puede reparar un error de contrato de herramienta, pero no puede restaurar la evidencia faltante ni anular las denegaciones de permisos. Existe una falta de benchmarks que aíslen estos modos de fallo específicos para determinar si una estrategia de mitigación realmente arregla su capa prevista sin enmascarar los controles negativos.

Metodología

LayerRAG-Bench es un benchmark de fiabilidad trans-capa controlado, diseñado para mapear nueve escenarios de fallo específicos a distintas capas operativas dentro del stack de RAG.

• Construcción del Dataset: El benchmark utiliza un corpus enterprise_v2 que contiene 8 dominios empresariales, 80 especificaciones de políticas, 160 documentos y 240 tareas. Cada tarea incluye documentos actuales y derogados con tres variantes de preguntas templatizadas.
• Escenarios de Fallo: El benchmark introduce fallos operativos no adversarios en nueve escenarios:
  1. Limpio (línea base)
  2. Índice obsoleto (frescura de la evidencia)
  3. Deriva de esquema (contrato de herramienta)
  4. Salida de herramienta faltante (disponibilidad de la herramienta)
  5. Evidencia conflictiva
  6. Permiso denegado (control de acceso)
  7. Timeout parcial de herramienta (completitud de la herramienta)
  8. Metadatos corruptos
  9. Estado de sesión incorrecto (contexto de sesión)
• Protocolo de Evaluación:
  • Harness Determinista: Evalúa 240 tareas sin llamadas al modelo utilizando un recuperador tfidf_domain_validity para establecer la verdad de campo para la recuperación de documentos y la validez.
  • Matriz en Vivo: Aplica las mismas definiciones de tareas y escenarios a nueve modelos de OpenAI, Anthropic y Gemini. Esto crea una matriz de 9 modelos × 9 escenarios × 2 modos de contrato (Estricto vs. Reparación) × 240 tareas, lo que resulta en 38,880 registros.
  • Modos de Contrato:
    • Estricto: Rechaza las salidas de herramientas que no coinciden con el esquema esperado.

la Reparación: Aplica una normalización de esquema acotada para intentar la recuperación de la deriva de esquema, pero explícitamente no reconstruye la evidencia faltante, no elude los permisos, no actualiza los índices ni corrige el contexto de la sesión.

• Métricas: El éxito se define como una conjunción de cuatro condiciones: coincidencia exacta normalizada ($E_t$), recuperación de todos los identificadores de evidencia requeridos ($R_t$), cita válida de la evidencia recuperada ($G_t$) y satisfacción de los esquemas de llamada a herramientas ($V_t$). Una métrica de "resolución segura" separada otorga crédito a las respuestas no estructuradas seguras ante condiciones inseguras.

Contribuciones Clave

1. Benchmark Empresarial Reproducible: Un marco que mapea nueve distintos escenarios de fallo operativo a capas de fiabilidad específicas, yendo más allá de las puntuaciones generales de calidad de respuesta.
2. Condiciones de Estricto y Reparación Emparejadas: Un diseño que prueba si una intervención específica (reparación de esquema) mejora el rendimiento en su capa objetivo (deriva de esquema) mientras verifica que no "arregla" falsamente fallos no relacionados (por ejemplo, evidencia obsoleta o denegación de permisos).
3. Archivos de Privacidad Seguros: Archivos de registros puntuados disponibles públicamente que contienen 38,880 registros de múltiples proveedores y 144 celdas de integración enfocadas. Estos permiten la recomputación de agregados, ganancias de reparación y análisis de incertidumbre jerárquica sin requerir acceso a la API del proveedor o exponer la prosa bruta del modelo.

Resultados

• Recuperación de Deriva de Esquema: La normalización de esquemas es altamente efectiva para su objetivo específico. Bajo el escenario de "deriva de esquema", el éxito estricto es 0.000, mientras que el éxito de reparación aumenta a 0.913. Esto representa una mejora de 91.3 puntos porcentuales con un intervalo de confianza jerárquico del 95% de [85.4, 95.6].
• Limitaciones Específicas de la Capa: Las intervenciones no son universales. Para escenarios que involucran índices obsoletos, salidas de herramientas faltantes, denegaciones de permiso y estados de sesión incorrectos, el éxito de la reparación permanece en 0.000, idéntico al fallo estricto. La normalización de esquemas no puede restaurar la evidencia faltante ni anular los controles de acceso.
• Falsos Positivos de Fundamentación: Depender únicamente de la "fundamentación" (soporte textual) produce falsos positivos sustanciales en escenarios de no-esquema.
  • En escenarios de "estado de sesión incorrecto", el 77.6% de los registros estrictos y el 78.8% de los registros de reparación estaban fundamentados en el texto recuperado, pero fallaron el benchmark debido al contexto incorrecto.
  • En escenarios de "índice obsoleto", el 100% de los registros fundamentados fallaron el éxito estricto.
• Sensibilidad del Recuperador: Las auditorías deterministas muestran que la conciencia de la validez (distinguir entre documentos actuales y derogados) es crítica. Eliminar el reordenamiento de validez reduce el recall top-1 de "limpio" de 0.896 a 0.483. Sin embargo, el filtrado de dominio explícito es frágil; cuando los metadatos están corruptos, el recall cae a 0.000.
• Integración Enfocada: Un estudio más pequeño utilizando LangChain demostró que añadir controles de LayerRAG logró un 100% de resolución segura (respuestas correctas en condiciones contestables + respuestas no estructuradas en condiciones inseguras), mientras que la línea base solo alcanzó el 50%.

Significado y Reivindicaciones

El artículo aboga por un principio de evaluación específico por capa: una intervención de fiabilidad debe acreditarse solo por reparar su capa objetivo y no debe confundirse con una solución universal.

• Perspectiva Estructural: El hallazgo principal es estructural más que orientado a tablas de clasificación (leaderboards). La reparación de contratos recupera consistentemente la deriva de esquema, mientras que los fallos relacionados con frescura, autorización, completitud y estado requieren controles distintos y separados.
• Complementariedad: LayerRAG-Bench se posiciona como complementario a los benchmarks existentes de recuperación, fundamentación y facticidad. Evalúa específicamente si una estrategia de mitigación arregla la capa que pretende abordar.
• Agnosticismo de Modelo: Las estructuras de fallo similares en diferentes proveedores (OpenAI, Anthropic, Gemini) sugieren que los modelos base más fuertes no eliminan la necesidad de controles de sistema específicos por capa.
• Modestia de las Reivindicaciones: Los autores declaran explícitamente que la matriz en vivo es una evaluación de sistemas de presupuesto fijo, no un ranking comercial de modelos con potencia estadística. El estudio apoya interpretaciones a nivel de mecanismo (por ejemplo, "la deriva de esquema es reparable porque la evidencia permanece presente") en lugar de afirmaciones generales de precisión estricta para modelos específicos.

El trabajo concluye que la fiabilidad operativa en RAG agéntico requiere distinguir entre errores de formato (reparables mediante normalización de esquema) y errores de sustancia (que requieren comprobaciones de frescura, abstención consciente de acceso o aislamiento de sesión).