🤖 AI

NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles

NeuroState-Bench es un punto de referencia calibrado por humanos que evalúa los perfiles de agentes de LLM mediante sondas de consulta lateral para medir la integridad del compromiso, revelando que el éxito en la tarea y la integridad a menudo divergen y que las clasificaciones de integridad son más estables bajo perturbaciones de distracción que las métricas tradicionales de éxito.

Autores originales: Jia Xiao

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jia Xiao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un asistente personal para planificar un viaje complejo de varios días. Les das una lista de reglas: "Reserva el hotel con vista al océano", "No gastes más de 200 dólares en cena" y "Recuerda que soy alérgico a los cacahuetes".

La Vieja Forma (Evaluación Solo por Resultados):
En el pasado, solo verificábamos el resultado final. Si el asistente regresaba con un itinerario perfecto que incluía un hotel con vista al océano, una cena barata y sin cacahuetes, le dábamos una "A". No nos importaba cómo llegaron allí. Quizás olvidaron la alergia a los cacahuetes a mitad del proceso, entraron en pánico y lo solucionaron en el último segundo. Quizás reservaron por error el hotel equivocado pero lo cambiaron porque tuvieron suerte. Mientras el documento final se viera bien, el trabajo estaba hecho.

El Nuevo Problema:
Los autores de este artículo, NeuroState-Bench, argumentan que este sistema de "calificación final" es peligroso. En el mundo real, necesitamos saber si el asistente recordó consistentemente las reglas durante todo el proceso. ¿Mantuvo presente la alergia a los cacahuetes al pedir el almuerzo? ¿Se mantuvo dentro del presupuesto incluso cuando fue tentado por un restaurante elegante? Si olvidaron las reglas a mitad de camino y solo las corrigieron al final, podrían cometer un error en un viaje diferente donde no tengan una segunda oportunidad.

La Nueva Solución: La Prueba de "Pregunta Secundaria"
El artículo introduce una nueva forma de probar agentes de IA (programas informáticos inteligentes) llamada NeuroState-Bench. En lugar de simplemente esperar la respuesta final, esta evaluación hace "preguntas secundarias" a lo largo del proceso.

Piénsalo como un profesor que recorre un aula durante un examen.

La Tarea: "Escribe un ensayo sobre la historia de Roma".
La Pregunta Secundaria: "Oye, antes de terminar, ¿cuál era el nombre del primer emperador que mencionaste?"

Si el estudiante escribe un gran ensayo pero no puede recordar el nombre del emperador cuando se le pregunta, podría haber solo adivinado el final o copiado de algún otro lugar. No mantuvo verdaderamente el "compromiso" con los hechos sobre los que estaba escribiendo.

Cómo Funciona la Evaluación:

La Configuración: Los investigadores crearon 144 "escenarios" diferentes (como el ejemplo de planificación de viajes) con 8 tipos distintos de desafíos mentales (como recordar una regla, ignorar una distracción o corregir un error).
Las Sondeas: Para cada escenario, añadieron 306 "preguntas secundarias" específicas (sondeas) diseñadas para verificar si la IA sigue adherida a las reglas originales.
La Verificación Humana: Humanos revisaron estas pruebas para asegurar que las preguntas fueran justas y los niveles de dificultad precisos. Descubrieron que los humanos y la IA coincidían en gran medida sobre qué era "difícil" y qué era "fácil".
La Puntuación: Calcularon una nueva puntuación llamada HCCIS-CORE. Esta puntuación mide la "Integridad del Compromiso". Pregunta: ¿Mantuvo la IA la fidelidad a las reglas que prometió seguir, incluso cuando las cosas se volvieron confusas?

Los Resultados Sorprendentes:
Cuando probaron 32 modelos de IA diferentes (algunos pequeños, otros muy grandes y potentes), encontraron algo impactante:

El "Mejor" Estudiante no es el "Más Honesto": La IA que obtuvo más respuestas finales correctas no fue la que mantuvo mayor consistencia con las reglas.
Inversión del Ranking: Si ordenas los modelos de IA por sus respuestas finales, el primer puesto lo ocupa un modelo. Pero si los ordenas por su "Integridad del Compromiso" (qué tan bien se adhirieron a las reglas), ese mismo modelo desciende y otro toma el primer puesto. De hecho, 31 de cada 32 modelos cambiaron su clasificación al pasar de calificar la "respuesta final" a calificar el "compromiso".
Distracciones: Cuando los investigadores añadieron "distractores" (información extra confusa), los modelos que eran buenos obteniendo la respuesta final correcta se desmoronaron. Sin embargo, los modelos con alta "Integridad del Compromiso" se mantuvieron estables. Fueron mejores ignorando el ruido y manteniéndose fieles al plan.

Qué Significa Esto (Según el Artículo):
El artículo concluye que obtener la respuesta correcta al final no es prueba suficiente de que una IA sea fiable. Una IA puede obtener accidentalmente la respuesta correcta mientras pierde completamente el rastro de las reglas en medio del proceso.

Los autores construyeron esta evaluación como una "prueba de estrés" para la honestidad y la consistencia de la IA. No están afirmando haber creado una nueva IA más inteligente; han construido una regla mejor para medir si una IA está realmente haciendo lo que dice que hace.

Lo Que NO Afirmaron:

No afirmaron que esto sea una herramienta médica o una forma de diagnosticar problemas cerebrales humanos (a pesar de "Neuro" en el nombre, se trata de "estados mentales" de la IA, no de biología humana).
No afirmaron que su nuevo método de puntuación sea perfecto o que siempre predecirá el futuro.
Declararon explícitamente que sus complementos "neuronales" (similares al cerebro) no mejoraron realmente la puntuación significativamente, por lo que decidieron quedarse con la versión más simple, calibrada por humanos.

En Resumen:
NeuroState-Bench es un nuevo boletín de calificaciones para la IA. Deja de mirar solo la calificación final y empieza a revisar las notas de la tarea para ver si el estudiante realmente estuvo prestando atención todo el tiempo. Resulta que la IA con la mejor calificación final a menudo no era la que prestaba más atención.

Resumen Técnico: NeuroState-Bench

Enunciado del Problema
Las evaluaciones actuales de agentes dependen predominantemente de una evaluación basada únicamente en el resultado, puntuando a los agentes exclusivamente en función de si una tarea de múltiples turnos fue resuelta eventualmente. Este enfoque subespecifica si un perfil de agente preserva los compromisos (restricciones, vinculaciones, fuentes de confianza y actualizaciones de creencias) requeridos para resolver una tarea de manera coherente. Un agente puede llegar a una respuesta final correcta por accidente, mediante una recuperación posterior o sobrescribiendo momentáneamente el estado incorrecto, enmascarando así una falta de integridad del compromiso operativo. Las evaluaciones existentes a menudo no logran aislar si un agente puede mantener los compromisos definidos por la evaluación bajo la elicitación explícita de consultas secundarias, particularmente en presencia de distractores o información conflictiva.

Metodología
NeuroState-Bench operacionaliza la "integridad del compromiso" no como una inferencia de activaciones latentes ocultas, sino como una consistencia medible entre la estructura de compromiso dorada de un generador de tareas y los compromisos elicitados del agente mediante sondas de consultas secundarias definidas por la evaluación.

Construcción de la Evaluación: La evaluación se genera de manera determinista, comprendiendo 144 tareas distribuidas en ocho familias de fallos motivadas cognitivamente (por ejemplo, persistencia de restricciones, vinculación de entidades, resolución de conflictos, sobrescritura de estado obsoleto). Cada tarea incluye dos variantes (limpia y con distractor) y tres bandas de dificultad (fácil, media, difícil), con tres instancias deterministas por celda.
Sondas de Consultas Secundarias: Cada tarea se empareja con sondas específicas de consultas secundarias (306 en total) que interrogan el estado del agente en puntos críticos. Estas sondas se forman a partir de la indicación completa de la tarea más una indicación de sonda. Crucialmente, las respuestas de las sondas no se añaden al intento de tarea utilizado para la puntuación final; sirven como verificaciones de diagnóstico independientes.
Marco de Puntuación: La métrica principal es HCCIS-CORE, una puntuación de integridad libre de confianza y no neuronal. Agrega riesgos de fallo a nivel de sonda (desviación de estado, riesgo de trayectoria, riesgo de posición de contexto) ponderados por la dificultad calibrada por humanos y la validez de constructo.
- Puntuaciones Legadas/Exploratorias: El artículo conserva HCCIS-FULL (un heurístico legado que incluye términos de confianza/incertidumbre) y HCCIS+N (una variante exploratoria aumentada neuronalmente) como comparadores, pero los posiciona explícitamente como secundarios a la puntuación central.
Calibración Humana: Un flujo de trabajo de muestreo estratificado que involucra 144 unidades de tarea muestreadas y 216 anotaciones crudas fue adjudicado para producir un alcance de reporte fusionado de 108 filas de tareas. Esta capa proporciona previos de dificultad y verificación de validez de constructo, logrando una alta fiabilidad interevaluador ( $\kappa$ ponderado = 0.977, ICC = 0.977).
Cuadrícula de Evaluación: El experimento principal evalúa una cuadrícula de 32 perfiles, combinando un subconjunto local fijo de 16 perfiles (modelos pequeños con varios envoltorios) y un subconjunto coincidente de 16 perfiles alojados de modelos grandes (incluyendo GPT-4.1, GPT-5-Chat, Claude Sonnet y variantes de Qwen).

Resultados Clave

Divergencia entre Éxito e Integridad: El éxito de la tarea y la integridad del compromiso son empíricamente separables. En la cuadrícula de 32 perfiles, el agente con el mayor éxito en la tarea (perfil de memoria Qwen3.5-27B, 0.9391) no es el líder en integridad. El líder en integridad es el perfil reactivo GPT-5-Chat (HCCIS-CORE 0.7772).
Inestabilidad en la Clasificación: Cuando la integridad reemplaza al éxito de la tarea como métrica de clasificación, 31 de los 32 perfiles cambian de posición. El cambio medio absoluto en la clasificación es de 6.8125, con un cambio máximo de 20.
Estabilidad bajo Perturbación: Las clasificaciones basadas en integridad son más estables bajo perturbación por distractores que las clasificaciones basadas en éxito. El cambio medio de clasificación entre limpio y con distractor para el éxito de la tarea es de 4.3438, en comparación con 2.7500 para HCCIS-CORE.
Rendimiento de Diagnóstico: HCCIS-CORE alcanza un AUC de 0.8469 y un PR-AUC de 0.6992 para la discriminación posterior a la sonda del fallo terminal de la tarea. Si bien la precisión cruda de la sonda y la desviación de estado alcanzan un ROC-AUC ligeramente superior (0.8587) y una mejor calibración (Brier/ECE), HCCIS-CORE mantiene un PR-AUC de estimación puntual más alto y permanece más estrechamente vinculado al constructo previsto de la evaluación.
Señales Neuronales y Mecanísticas: La variante exploratoria aumentada neuronalmente (HCCIS+N) y los componentes mecanísticos (por ejemplo, componentes relacionados con el acuerdo en modelos pequeños) no dominan universalmente a las líneas base más simples. De hecho, HCCIS+N tiene un rendimiento inferior a HCCIS-CORE en AUC, PR-AUC, Brier y ECE. El artículo trata estas capas neuronales como contexto de calibración auxiliar en lugar de afirmaciones predictivas centrales.
Fallos Ocultos: Los estudios de caso demuestran que los agentes pueden lograr respuestas finales correctas mientras exhiben una desviación total de estado (por ejemplo, un HCCIS-CORE de 0.1192 con 100% de desviación de estado), un modo de fallo invisible para las métricas que solo consideran el punto final.

Significado y Afirmaciones
El artículo posiciona a NeuroState-Bench como un recurso de evaluación calibrado y un marco de análisis, en lugar de un nuevo algoritmo de agente o un predictor universal de fallos. Su contribución principal es metodológica: establece que el éxito en el punto final es insuficiente para evaluar la fiabilidad del agente cuando importan los compromisos, el origen y las restricciones.

Validez de Constructo: La evaluación demuestra que la integridad operativa del compromiso es un constructo distinto y medible que diverge sistemáticamente de la finalización de la tarea.
Geometría de Evaluación: Revela que diferentes ejes de evaluación (éxito vs. integridad vs. heurísticos sensibles a la confianza) inducen diferentes geometrías de clasificación y perfiles de estabilidad.
Alcance Modesto: Los autores declaran explícitamente que la evaluación no afirma inferir estados mentales no observables ni que las puntuaciones aumentadas neuronalmente dominen universalmente. En su lugar, ofrece una "prueba de estrés de diagnóstico" reproducible y calibrada por humanos para exponer fallos de compromiso ocultos. El lanzamiento incluye una auditoría completa, permitiendo a los investigadores rastrear las inversiones de clasificación hasta indicaciones de tareas específicas, sondas y trazas de agentes.

En resumen, NeuroState-Bench contribuye con un eje calibrado para evaluar la consistencia del comportamiento del agente, argumentando que la evaluación consciente de la integridad cambia materialmente la interpretación de las capacidades del agente, particularmente en entornos complejos y de múltiples turnos donde son prevalentes los distractores y las actualizaciones de estado.

Resumen Técnico: NeuroState-Bench

Más como este