Resumen Técnico: GroundEval

1. El Problema: Corrección con Estado Inválido

Los métodos de evaluación actuales para agentes de Modelos de Lenguaje de Gran Escala (LLM), particularmente los enfoques de "LLM-como-Juez", se centran principalmente en la plausibilidad y la corrección de la respuesta final. Sin embargo, para agentes con estado que operan en entornos empresariales (accediendo a registros, CRM, repositorios de código y datos con alcances de rol), la corrección es insuficiente. Un agente puede producir una respuesta fácticamente cierta mientras viola las restricciones de estado de la tarea.

El artículo define este modo de falla como Corrección con Estado Inválido (State-Invalid Correctness): una respuesta donde la respuesta final coincide con el estado esperado del mundo, pero la ruta de evidencia utilizada para derivarla viola restricciones relativas a:

• Visibilidad: Acceder a datos fuera del rol del actor o de los permisos del subsistema.
• Límites Temporales: Utilizar artefactos creados después del tiempo "as-of" (a la fecha de) la pregunta.
• Completitud de Búsqueda: Reivindicar la ausencia de evidencia sin haber buscado en los repositorios requeridos.
• Fundamentación Causal: Inferir causalidad basándose en la adyacencia temporal en lugar de enlaces de eventos verificados.

Los jueces de LLM tienen dificultades para detectar estas fallas porque carecen de acceso al contrato de estado verificable por máquina (políticas de acceso, registros de eventos y marcas de tiempo de artefactos) necesario para verificar determinísticamente si un artefacto era visible para un actor en un momento específico.

2. Metodología: El Marco de Trabajo GroundEval

GroundEval es un marco de trabajo determinista y libre de jueces que evalúa a los agentes frente a un contrato de verdad fundamental (ground-truth contract) legible por máquina. No depende de la introspección de la cadena de pensamiento (chain-of-thought) ni de las racionalizaciones de modelos jueces.

Componentes Principales

El marco opera sobre cuatro entradas para generar un Contrato de Verdad Fundamental:

1. Registro de Eventos (Event Log): Un flujo con marca de tiempo de actores, artefactos y tipos de eventos.
2. Corpus de Artefactos: Los documentos o registros disponibles para la recuperación.
3. Política de Acceso: Reglas que definen la visibilidad de los subsistemas y los límites de tiempo por actor/rol.
4. Configuración de Evaluación: Especificaciones para enlaces causales, pares de silencio (ausencias esperadas) y plantillas de preguntas.

A partir de este contrato, el sistema genera Contratos de Preguntas y Esquemas de Respuestas Esperadas. El agente es evaluado en uno de dos modos:

• Modo de Contexto: El agente recibe una ventana de contexto prefiltrada y debe enviar una respuesta estructurada con citas explícitas de evidence_artifacts (artefactos de evidencia).
• Modo de Herramientas (Tool Mode): El agente interactúa con un entorno de ejecución controlado que impone restricciones de acceso en el punto de las llamadas de fetch (obtención) o search (búsqueda), registrando un rastro completo del uso de herramientas.

Tracks de Evaluación

GroundEval apunta a tres clases específicas de falla, cada una con un track dedicado:

1. Perspectiva: Prueba si un agente respeta lo que un actor podría haber sabido en un momento específico (verificando la filtración temporal y las violaciones de permisos).
2. Contrafactual: Prueba si un agente identifica relaciones causa-efecto válidas utilizando condiciones de unión (join conditions) explícitas (por ejemplo, IDs de tickets) en lugar de la adyacencia temporal.
3. Silencio: Prueba si un agente verifica la ausencia mediante la búsqueda en los espacios requeridos antes de afirmar que algo no sucedió.

Mecanismo de Puntuación

GroundEval emplea un Modelo de Puntuación Dual:

• Puntuación de Respuesta ($S_{answer}$): Mide si la respuesta final estructurada coincide con la verdad fundamental.
• Puntuación de Trayectoria ($S_{traj}$): Mide si la ruta de evidencia del agente (búsquedas, obtenciones, citas) se mantuvo dentro del contrato de estado.

Estos se combinan en una Puntuación Ajustada por Cumplimiento ($S_{adj}$):
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
Donde $v$ es la tasa de violación (violaciones de puerta de actor, de subsistema o de horizonte). La penalización cuadrática asegura que una alta precisión en la respuesta no pueda compensar una alta tasa de violaciones de gobernanza.

3. Contribuciones Clave

1. Contrato de Evaluación Determinista: Un marco que deriva contratos de preguntas y esquemas de respuestas a partir de registros de eventos y políticas de acceso sin requerir un modelo juez, haciendo que las señales de corrección sean auditables de forma independiente.
2. Puntuación Dual con Ajuste por Violación: Un modelo de puntuación que distingue entre respuestas verdaderas y respuestas alcanzadas válidamente, penalizando a los agentes que violan las restricciones de estado incluso si su salida final es correcta.
3. Determinismo Formalizado: Garantiza que las puntuaciones sean deterministas dado el mismo contrato y rastro, permitiendo que el marco sirva como una puerta de regresión a través de versiones de modelos y cambios en los prompts.
4. Tres Tracks Reutilizables: Protocolos de evaluación específicos para fallas de Perspectiva, Contrafactual y Silencio que abordan los puntos ciegos en la evaluación de trayectoria actual.

4. Resultados Experimentales

El marco fue validado utilizando OrgForge, un marco de simulación que genera verdades fundamentales deterministas. La evaluación involucró 96 preguntas a través de tres tracks (Perspectiva, Contrafactual, Silencio) y un agente DeepSeek-V4-Pro.

Hallazgos Clave:

• La Brecha del Juez (The Judge Gap): En un estudio de caso, dos jueces de LLM de frontera (Kimi-K2.6 y ChatGPT-5.5) calificaron una respuesta de agente plausible pero inválida con 0.90 y 0.85, respectivamente. GroundEval calificó la misma respuesta con 0.000 para la respuesta (porque el artefacto requerido nunca fue obtenido) y 0.273 para la trayectoria, exponiendo la ruta de evidencia inválida.
• Fallos de Perspectiva: Los agentes confundieron frecuentemente la asistencia física con el acceso al subsistema basado en roles, resultando en altas puntuaciones de respuesta pero penalizaciones significativas en la trayectoria debido a violaciones de la puerta del actor.
• Fallos Contrafactuales: Los agentes a menudo dependieron de la similitud temática superficial en lugar de condiciones de unión estructurales (por ejemplo, IDs de tickets), lo que llevó a afirmaciones causales incorrectas que no fueron detectadas por la puntuación de la respuesta final, pero que fueron señaladas por el análisis de trayectoria.
• Línea Base Zero-Shot: Los agentes lograron puntuaciones de respuesta no triviales en condiciones zero-shot (sin acceso a herramientas), lo que sugiere que algunas preguntas podrían responderse mediante el fraseo superficial en lugar de la recuperación de evidencia, resaltando la necesidad de controles estrictos en la generación de preguntas.

5. Significado y Reivindicaciones

El artículo sostiene que la brecha entre lo "plausible" y lo "válido" no es un caso aislado, sino un punto ciego fundamental en la evaluación actual de agentes. GroundEval afirma que, para agentes con estado, la ruta de evidencia es parte de la respuesta.

El significado de este trabajo radica en el cambio de la supervisión de resultados (¿obtuvo el modelo la respuesta correcta?) a la supervisión de procesos (¿llegó el modelo a la respuesta a través de una ruta de estado válida?). Al hacer que el contrato de estado sea explícito y puntuable, GroundEval proporciona un mecanismo para detectar la "corrección con estado inválido" que los jueces de LLM, que dependen de la plausibilidad semántica, son estructuralmente incapaces de detectar. El marco está diseñado para ser reutilizable a través de versiones de modelos y dominios, sirviendo como una puerta de regresión determinista para el desarrollo de agentes.