💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

Este artículo presenta WorkSurface-Bench, un nuevo benchmark compuesto por 1.151 tareas auditables diseñadas para evaluar la capacidad de los agentes empresariales para enrutar consultas a través de superficies de conocimiento heterogéneas (documentos, tablas y grafos), revelando que, si bien los agentes pueden lograr una alta precisión de enrutamiento, la selección correcta de la superficie por sí sola es insuficiente para obtener altas tasas de finalización de tareas.

Autores originales: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un asistente robot superinteligente para que te ayude a dirigir una oficina con mucho movimiento. Le haces una pregunta complicada, como: "¿Cuánto gastamos en envíos el mes pasado y qué archivos están causando los retrasos?". Para responder a esto, el robot no puede simplemente adivinar; necesita buscar información. Pero aquí está el truco: la oficina tiene tres tipos de estanterías de información muy diferentes. Hay una Biblioteca llena de informes escritos y PDFs (documentos), una Sala de Hojas de Cálculo repleta de filas de números y cálculos (tablas), y una Sala de Mapas que muestra cómo cada archivo se conecta con todos los demás (grafos).

Durante mucho tiempo, los científicos que probaban estos robots se limitaban a preguntar: "¿Obtuviste la respuesta correcta?". Si el robot buscaba en la habitación equivocada, elegía el libro equivocado o hacía mal las matemáticas, la prueba simplemente decía: "Fallo". Pero eso no nos decía el porqué del fallo. ¿Acaso el robot no sabía que necesitaba ir a la Sala de Mapas? ¿O fue a la Sala de Mapas, encontró el mapa correcto, pero se confundió al leerlo? Este artículo aborda ese vacío. Introduce una nueva forma de probar a los robots al separar el acto de elegir la habitación correcta del acto de resolver el rompecabezas una vez dentro. Se pregunta: ¿Puede el robot determinar qué tipo de conocimiento necesita incluso antes de empezar a buscar?

El Nuevo Juego: WorkSurface-Bench

Los investigadores construyeron un nuevo campo de pruebas llamado WorkSurface-Bench. Imagínalo como una simulación de oficina gigante y realista con 1.151 tareas diferentes. Establecieron cinco "personas" distintas (como un gerente de logística o un analista financiero) y les dieron acceso a tres superficies distintas: una biblioteca de documentos, una base de datos de tablas y un grafo de relaciones de archivos.

La gran innovación aquí es cómo califican a los robots. En lugar de dar solo un aprobado o un reprobado sobre la respuesta final, califican dos cosas por separado:

Ruta: ¿Eligió el robot las "superficies" correctas (Biblioteca, Hoja de Cálculo o Mapa)?
Respuesta: ¿Resolvió realmente el problema correctamente una vez que las eligió?

Crearon un "estándar de oro" para cada respuesta. Si una tarea requiere un cálculo matemático, ejecutaron el código real para obtener la respuesta verdadera. Si requería leer un documento, verificaron las palabras exactas en la fuente. Si necesitaba una conexión de archivos, trazaron la ruta real. Esto significa que la respuesta "correcta" no es solo una suposición de otra IA; es un hecho verificado.

La Gran Sorpresa: Saber Dónde Buscar No es Suficiente

El equipo probó cuatro de los modelos de IA más inteligentes disponibles (incluyendo GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro y GPT-5.5) en seis escenarios diferentes. Querían ver si hacer el trabajo del robot más fácil diciéndole exactamente a qué habitación ir solucionaría sus errores.

Esto es lo que encontraron, y es un giro en la trama: Saber dónde buscar no garantiza que encontrarás la respuesta.

Cuando los investigadores obligaron a los robots a usar solo las superficies correctas (un ajuste de "restricción de oro"), los robots se volvieron casi perfectos eligiendo la habitación adecuada. Su puntuación de "Ruta" saltó entre el 98,7% y el 99,8%. Sabían exactamente a dónde ir.

Sin embargo, su puntuación de "Respuesta" —la corrección real de la solución final— solo alcanzó entre el 56,1% y el 75,3%.

Esto significa que, incluso cuando el robot estaba en la habitación correcta con el mapa adecuado en la mano, todavía obtenía la respuesta incorrecta más de una cuarta parte de las veces. Podría haber encontrado el archivo correcto pero leído mal los números, o podría haber combinado la información de la hoja de cálculo y el documento de forma incorrecta. El artículo muestra que "elegir la herramienta adecuada" y "usar la herramienta correctamente" son dos habilidades completamente diferentes, y ser bueno en una no te hace automáticamente bueno en la otra.

Pistas vs. Restricciones

Los investigadores también jugaron un juego divertido de "dar una pista" frente a "quitar distracciones".

La Pista: Le dijeron a los robots: "Necesitas mirar la Hoja de Cálculo y el Mapa". Esto ayudó a los robots a elegir mejor las superficies y, para algunos modelos, mejoró ligeramente sus respuestas finales.
La Restricción: Luego les quitaron todas las herramientas que no necesitaban. Esto hizo que los robots fueran mucho más rápidos y eficientes, y eligieron las superficies correctas aún mejor. Pero, sorprendentemente, esto no siempre hizo que la respuesta final fuera mejor. De hecho, para algunos modelos, eliminar las herramientas extra en realidad los hizo ligeramente peores al resolver el problema, probablemente porque perdieron la capacidad de verificar su trabajo con una herramienta distinta.

Qué Significa para el Futuro

El artículo concluye que ya no podemos limitarnos a mirar la puntuación final de un agente de IA. Si una IA obtiene una respuesta incorrecta, necesitamos saber si falló porque no sabía qué buscar, o porque buscó en el lugar correcto pero no pudo procesar lo que encontró.

Los autores midieron esto a través de 27.624 intentos diferentes de los robots, y están muy seguros de estas cifras porque auditaron los resultados con revisores humanos y reglas estrictas. Encontraron que, si bien los mejores robots se están volviendo muy buenos en el enrutamiento (98%+), todavía están luchando con el paso final de unir las piezas correctamente (alrededor del 56–75%).

En resumen, el futuro de los robots de oficina inteligentes no es solo darles mejores mapas de la oficina; es enseñarles a leer los carteles y a hacer las matemáticas una vez que llegan. El artículo proporciona un marcador nuevo y detallado para ayudar a los desarrolladores a rastrear exactamente dónde están tropezando sus robots, de modo que puedan arreglar la parte específica del cerebro que está rota, en lugar de simplemente esperar que todo mejore.

Resumen Técnico: WorkSurface-Bench

Planteamiento del Problema

Los agentes empresariales encuentran con frecuencia preguntas que requieren el acceso simultáneo a formas de conocimiento heterogéneas: hechos narrativos en documentos, cálculos en tablas y relaciones de archivos en grafos de dependencia. Los benchmarks existentes suelen evaluar la recuperación (RAG) o el uso de herramientas de forma aislada, sin distinguir entre la capacidad de un agente para seleccionar la representación de conocimiento correcta (enrutamiento de superficie) y su capacidad para razonar correctamente utilizando dicha representación. En consecuencia, las puntuaciones de precisión de extremo a extremo (end-to-end) conllevan estos atributos distintos, lo que dificulta diagnosticar si un fallo se debe a la elección de la fuente incorrecta, a la recuperación de evidencia incompleta o a la síntesis incorrecta de la respuesta.

Metodología

Los autores presentan WorkSurface-Bench, un benchmark diseñado para desacoplar el enrutamiento de la superficie de la generación de la respuesta. La metodología consta de tres componentes principales:

1. Construcción del Benchmark

El benchmark se deriva del corpus Workspace-Bench-Lite, proyectado sobre tres superficies canónicas y enrutables:

Documento (RAG): 493 documentos canónicos en formato Markdown UTF-8.
Tabla: 207 vistas de DuckDB generadas a partir de hojas CSV/XLSX normalizadas.
Grafo: 1,438 aristas que representan el linaje de archivos y dependencias (ej. archivo-depende-de-archivo).
Metadatos: Los Procedimientos Operativos Estándar (SOPs) se mantienen como metadatos de la tarea en lugar de una superficie enrutable.

El conjunto de datos comprende 1,151 tareas atómicas a través de cinco espacios de trabajo delimitados por el rol (persona-scoped). Las tareas se categorizan según las superficies requeridas: rag_only, table_only, graph_only y cross_surface (que requieren combinaciones de las tres).

2. Estándar de Oro Verificable

Para garantizar la auditabilidad, las respuestas de referencia no son generadas por modelos, sino derivadas de una ejecución determinista:

Respuestas de tabla: Ejecutadas mediante consultas DuckDB.
Respuestas de documento: Verificadas contra fragmentos literales en los archivos fuente.
Respuestas de grafo: Derivadas de las anotaciones de dependencia de la fuente.
Un riguroso proceso de cribado que involucra comprobaciones deterministas, propuestas asistidas por LLM (GPT-5.5) y auditorías humanas/LLM independientes (DeepSeek, Gemini) asegura que el conjunto final no contenga errores de protocolo y cumpla con criterios estrictos de capacidad de respuesta y necesidad de superficie.

3. Protocolo de Puntuación

El marco de evaluación califica cuatro métricas distintas para cada tarea:

F1 de Ruta (Route F1): Mide la precisión y exhaustividad (recall) del conjunto de superficies seleccionadas frente al conjunto requerido de oro.
Evidencia (Evidence): Mide la fracción de artefactos requeridos (archivos, vistas, nodos) realmente accedidos en la traza.
Respuesta (Answer): Evalúa la corrección final utilizando coincidencia exacta, tolerancia de error relativo o F1 de conjunto, dependiendo del tipo de respuesta.
Eficiencia (Efficiency): Una puntuación continua que penaliza el uso de tokens en relación con un presupuesto específico de la tarea.

Estas métricas se agregan en una única puntuación con los siguientes pesos: Respuesta (35%), Evidencia (30%), Ruta (25%) y Eficiencia (10%).

Configuración Experimental

Los autores evaluaron cuatro modelos base (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro y GPT-5.5) bajo seis configuraciones de agente:

Sin herramienta (No-tool): Línea base de libro cerrado.
Siempre-RAG (Always-RAG): Fuerza una búsqueda de documento única.
Enrutador-Ingenuo (Naive-router): Selecciona exactamente una superficie de antemano.
ReAct-todo (ReAct-all): Expone las tres superficies, permitiendo el entrelazado libre.
Restringido-por-Oro (Gold-constrained): El agente tiene dadas las superficies requeridas, pero debe seleccionar las herramientas dentro de ellas.
Pista-Oro/Todo (Gold-hint/all): El agente tiene dadas las superficies requeridas, pero todas las herramientas permanecen disponibles.

Resultados Clave

Los experimentos, que cubren 27,624 trayectorias retenidas, arrojan varios hallazgos críticos:

Enrutamiento $\neq$ Respuesta: Existe solo una correlación moderada ( $\rho = 0.62$ ) entre el éxito del enrutamiento y la precisión de la respuesta. Incluso cuando los agentes están Restringidos-por-Oro (forzados a usar las superficies correctas) y logran un F1 de Ruta (98.7–99.8%) casi perfecto, su precisión de Respuesta sigue siendo significativamente menor (56.1–75.3%).
Cuellos de Botella Post-Enrutamiento: Las altas puntuaciones de enrutamiento no garantizan la ejecución correcta. Bajo configuraciones Restringidas-por-Oro, los agentes aún fallan en la recuperación de evidencia (puntuaciones de Evidencia: 66.7–78.5%) y en el cálculo o síntesis posterior.
Impacto de las Pistas vs. Restricciones:
- Proporcionar pistas de superficie (S4 $\to$ S6) mejora la precisión de la Respuesta para tres de los cuatro modelos, pero tiene un efecto variable en el enrutamiento.
- Eliminar herramientas irrelevantes (S6 $\to$ S5) mejora significativamente el F1 de Ruta y la Eficiencia, pero no mejora uniformemente la precisión de la Respuesta; en algunos casos, incluso degrada el rendimiento.
Rendimiento Específico por Superficie: El rendimiento varía según el tipo de tarea. Mientras que las tareas de solo Tabla generalmente arrojan las puntuaciones más altas (hasta 91.0%), las tareas de Superficie Cruzada (Cross-surface) siguen siendo las más desafiantes, con puntuaciones que caen entre 13.0 y 45.7 puntos por debajo del mejor rendimiento de un modelo en una sola superficie.

Significancia y Reivindicaciones

El artículo afirma que WorkSurface-Bench es el primer benchmark de espacio de trabajo que puntúa el enrutamiento de la superficie por separado de la métrica de Respuesta. Su principal significancia radica en:

Claridad Diagnóstica: Al separar las métricas, el benchmark permite a los investigadores identificar si un agente falla en la selección, la recuperación o la síntesis, en lugar de atribuir todos los fallos a una puntuación de "inteligencia" monolítica.
Desacoplamiento de Capacidades: Los resultados demuestran que saber dónde buscar (enrutamiento) es una capacidad distinta de saber cómo utilizar la información encontrada (respuesta).
Rigor de Evaluación: El uso de respuestas de oro ejecutables y auditables (SQL, fragmentos, anotaciones) elimina la dependencia de referencias generadas por modelos, proporcionando una verdad de referencia más fiable para la evaluación de agentes empresariales.

Los autores concluyen que las evaluaciones de agentes en el futuro deben reportar la selección de superficie por separado y probar explícitamente si los sistemas pueden convertir la evidencia recuperada en respuestas correctas, en lugar de confiar únicamente en la precisión de extremo a extremo.