Resumen Técnico: ENTLORE – Un Benchmark Basado en Grafos para el Razonamiento Organizacional Latente

Declaración del Problema

La Respuesta a Preguntas (QA) en entornos empresariales se enmarca tradicionalmente como una tarea de recuperación donde los sistemas identifican documentos internos para generar respuestas fundamentadas. Sin embargo, los registros empresariales rutinarios suelen ser productos de trabajo en lugar de descripciones autocontenidas diseñadas para consultas futuras. En consecuencia, muchas relaciones organizacionales críticas —como los alcances de los proyectos, las correspondencias de alias o las responsabilidades de las líneas de trabajo— permanecen implícitas a través de fuentes heterogéneas.

Los benchmarks existentes (por ejemplo, TechQA, EKRAG, MultiDoc2Dial) han mejorado la evaluación multi-fuente, pero típicamente materializan la evidencia a lo largo de un camino de razonamiento predefinido. En estas configuraciones, cada paso requerido está explícitamente declarado en el corpus, probando la capacidad de un sistema para recuperar y componer hechos declarados en lugar de recuperar una relación objetivo que está ausente en el texto. Este artículo identifica una brecha en la evaluación actual: la incapacidad de evaluar el razonamiento organizacional latente, definido como la capacidad de recuperar y razonar sobre relaciones organizacionales que no están explícitamente declaradas en ningún documento publicado, pero que son derivables de la estructura organizacional subyacente.

Metodología: El Marco de Trabajo ENTLORE

Los autores presentan ENTLORE, un marco de construcción de benchmarks basado en grafos diseñado para evaluar esta capacidad de razonamiento latente sin exponer la verdad de referencia a los sistemas evaluados. El marco opera en cuatro etapas:

1. Reconstrucción del Grafo de Verdad Auditado ($G_{truth}$):

   • El sistema reconstruye un grafo bruto ($G_{raw}$) a partir de documentos rutinarios, tablas organizacionales autoritativas y trazas operativas.
   • Se aplica una versión de biblioteca de convenciones organizacionales (reglas de inferencia privadas y tipadas) para certificar las relaciones derivadas. Por ejemplo, una regla podría inferir que una persona trabaja en un proyecto si trabaja en un módulo contenido dentro de ese proyecto.
   • El grafo de verdad resultante separa los hechos nativos, los metadatos, las asociaciones heurísticas y las relaciones derivadas certificadas.

2. Proyección de Corpus con Preservación de Privacidad:

   • Un mapa de anonimización compartido ($\phi$) proyecta el mundo privado en un corpus de documentos publicado ($D_{release}$).
   • Este proceso renombra entidades de manera consistente y desplaza fechas, preservando la organización relativa, el género y la densidad de información.
   • Crucialmente, $D_{release}$ no contiene declaraciones explícitas de las relaciones objetivo. Los registros organizacionales privados, las reglas de certificación y el grafo de verdad permanecen ocultos para los sistemas evaluados.

3. Construcción de Preguntas y Descomposición de Capacidades:

   • Las preguntas se generan mediante operadores de grafos tipados que muestrean de $G_{truth}$, ejecutan consultas y registran las dependencias de prueba.
   • El benchmark categoriza 907 preguntas en tres niveles de dificultad basados en la disponibilidad de evidencia:
     • L1 (Búsqueda Declarada): La respuesta está explícitamente declarada en un solo documento publicado.
     • L2 (Composición Declarada): La respuesta requiere la composición de hechos explícitamente declarados a través de múltiples fuentes publicadas.
     • L3 (Razonamiento Organizacional Latente): La relación objetivo no aparece en ninguna fuente publicada. Existe solo en $G_{truth}$ y debe ser recuperada infiriendo estructuras organizacionales implícitas a partir de observaciones distribuidas.

4. Verificación:

   • Cada pregunta es verificada para asegurar que el programa de grafo devuelva una respuesta única y completa con derivaciones certificadas.
   • Para los elementos L3, un escaneo de todo el corpus de publicación confirma que la relación objetivo está ausente de todos los alias de entidades publicados.

Contribuciones Clave

1. Formulación del Razonamiento Organizacional Latente: El artículo define una nueva capacidad donde los sistemas deben combinar hechos fundamentados heterogéneos para recuperar relaciones organizacionales específicas que no están declaradas explícitamente.
2. Construcción del Grafo de Verdad Auditado: Un marco para construir un benchmark a partir de documentos empresariales reales y tablas autoritativas, separando los hechos nativos de las relaciones derivadas certificadas.
3. El Benchmark ENTLORE: Un conjunto de datos que contiene 2,341 documentos y 907 preguntas (469 L1, 204 L2, 234 L3) evaluadas a través de 56 configuraciones de modelos y de acceso.
4. Evaluación de Paradigmas de Acceso: Una matriz exhaustiva que compara enfoques de libro cerrado (closed-book), recuperación léxica (BM25), recuperación densa plana (RAG), pipelines agénticos y enfoques basados en grafos (GraphRAG, LLM Wiki) contra el desafío del razonamiento latente.

Resultados Experimentales

La evaluación abarca ocho modelos (incluyendo GPT-5.4, Claude-Sonnet, Qwen, DeepSeek) y siete condiciones de acceso.

• Desempeño en Evidencia Declarada (L1/L2): Los sistemas funcionan razonablemente bien en la búsqueda y composición explícita. GraphRAG, BM25 y un Wiki compilado por LLM forman el nivel superior, con precisiones que oscilan entre el ~50% y el 63%. El RAG plano y la recuperación agéntica generalmente rinden por debajo de estos baselines estructurales o léxicos.
• Desempeño en Razonamiento Latente (L3): El desempeño cae significativamente en todas las configuraciones.
  • GraphRAG logra la precisión promedio más alta en L3 con un 36.2%, seguido de BM25 (34.0%) y el LLM Wiki (27.7%).
  • El RAG plano (18.9%) y la recuperación agéntica (13.5%) funcionan pobremente, sugiriendo que la interacción iterativa sin inducción estructural no ayuda a recuperar relaciones latentes.
  • La brecha de desempeño es altamente heterogénea; GraphRAG supera significativamente a BM25 en tareas de "Atribución de departamento", pero muestra menos ventaja en "Atribución de contención".
• El Residuo del Documento de Oro: Incluso cuando se proporcionan a los sistemas los "documentos de oro" exactos que contienen toda la evidencia necesaria (mediante un agente Oráculo, $\Omega$), el 30.4% de las preguntas L3 permanecen sin respuesta. Esto se compara con un 12.6% para L1 y un 6.2% para L2. Este residuo indica que el fallo no es meramente debido a la recuperación de documentos (recall), sino que proviene de la incapacidad de realizar la derivación organizacional necesaria incluso cuando las premisas están presentes.
• Fidelidad de la Publicación: Un análisis de 176 ítems emparejados entre los mundos privado y publicado muestra que, si bien se preserva el ranking grueso de las configuraciones oráculo, el orden fino de los sistemas desplegables cambia (Spearman $\rho = 0.71$, $p=0.06$). Los autores concluyen que la publicación es válida para comparaciones a nivel de grupo, pero tentativa para el ranking detallado, particularmente para métodos léxicos sensibles a la anonimización.

Significado y Reivindicaciones

El artículo sostiene que la QA empresarial depende no solo de la recuperación de documentos, sino críticamente de si las relaciones organizacionales implícitas se vuelven utilizables.

• Más allá de la Recuperación: Los resultados demuestran que suministrar documentos de oro no resuelve el problema del razonamiento latente. El "desafío de la relación latente" persiste incluso cuando se eliminan los errores de recuperación.
• La Estructura como un Objeto de Primera Clase: Los hallazgos sugieren que los sistemas de QA empresarial deben tratar a la organización detrás de los documentos como un objeto de inferencia de primera clase, recuperando relaciones tipadas a través de fuentes y preservando la procedencia mediante un razonamiento de múltiples pasos.
• Utilidad del Benchmark: ENTLORE proporciona un banco de pruebas para medir el progreso en el razonamiento organizacional sin reducir la tarea a una simple recuperación de documentos. Al mantener la verdad del benchmark privada pero sus premisas auditables, permite la evaluación de sistemas capaces de razonar sobre estructuras implícitas.

Los autores mantienen la modestia respecto a la fidelidad de la publicación, señalando que, aunque el benchmark preserva el comportamiento comparativo para grupos amplios, el ranking específico de los sistemas desplegables puede variar debido a la sensibilidad de la recuperación léxica a las superficies de texto anonimizadas. Enfatizan que el benchmark es un paso hacia la evaluación de sistemas capaces de manejar la naturaleza de "producto de trabajo" de los datos empresariales reales.