Resumen Técnico: ToM-SWE: Modelado del Modelo Mental del Usuario para Agentes de Ingeniería de Software

Declaración del Problema

Los avances recientes en los agentes de codificación basados en Modelos de Lenguaje Extensos (LLM) han permitido que estos puedan planificar, editar, ejecutar y probar bases de código complejas. Sin embargo, estos sistemas enfrentan una limitación fundamental: luchan por inferir y rastrear la intención del usuario, particularmente cuando las instrucciones son subespecificadas o dependen del contexto. Los agentes actuales operan típicamente de manera estateless (sin estado), tratando cada sesión como independiente y careciendo de mecanismos para mantener un contexto persistente sobre los objetivos, preferencias y restricciones evolutivas de un usuario. Esto conduce a un esfuerzo desperdiciado, malentendidos y resultados potencialmente inseguros en entornos de alto riesgo. Además, los benchmarks existentes como SWE-bench evalúan principalmente la resolución de problemas técnicos en tareas bien especificadas, fallando al evaluar la capacidad de un agente para mantener interacciones significativas de largo horizonte con diversos usuarios.

Metodología

Para abordar estas brechas, los autores introducen ToM-SWE, un marco que integra el razonamiento de la Teoría de la Mente (ToM) en los agentes de ingeniería de software. La ToM en este contexto se refiere a la capacidad de modelar el estado mental de un usuario (objetivos, preferencias, intenciones) basándose en las instrucciones y el historial de interacción.

Arquitectura de Agente Dual

La innovación central es una arquitectura de agente dual que separa las responsiones:

1. Agente SWE Primario: Enfocado exclusivamente en tareas de codificación (generación, depuración, ejecución).
2. Agente ToM Dedicado: Un compañero ligero responsable de modelar el estado mental del usuario.

El agente ToM opera en dos modos complementarios:

• ToM en Sesión (In-Session ToM): Durante la codificación activa, infiere el estado mental subyacente del usuario (por ejemplo, la intención "real" detrás de instrucciones ambiguas) consultando el historial de interacción y proporcionando sugerencias al agente SWE.
• ToM Post-Sesión (After-Session ToM): Tras la sesión, procesa el historial de interacción para refinar y actualizar un modelo de usuario persistente.

Sistema de Memoria Jerárquica

El agente ToM utiliza un sistema de memoria jerárquica de tres niveles implementado como una base de datos externa:

• Nivel 1 (Almacenamiento de Sesión Raw): Almacena historiales de sesiones completas anteriores.
• Nivel 2 (Modelo de Usuario Basado en Sesión): Mantiene el análisis por sesión, incluyendo la intención de la sesión, patrones de interacción y preferencias de codificación.
• Nivel 3 (Modelo de Usuario Global): Agrega patrones trans-sesión en clústeres de preferencias, resúmenes de estilo de interacción y resúmenes de estilo de codificación.

El agente SWE interactúa con el agente ToM a través de dos herramientas específicas: consult tom (para recuperar información relevante del estado mental del usuario durante una sesión) y update memory (para activar al agente ToM para que procese y actualice la jerarquía de memoria después de una sesión).

Marco de Evaluación: Benchmark de SWE con Estado (Stateful SWE Benchmark)

Los autores introducen el Stateful SWE benchmark, el primero diseñado para evaluar agentes en interacciones de largo horizonte y múltiples sesiones.

• Configuración: Empareja 15 perfiles de desarrolladores distintos (derivados de 453 sesiones reales humano-agente) con 500 instancias de SWE-bench.
• Simulación: Los agentes interactúan con un simulador de usuario impulsado por LLM condicionado a perfiles específicos (variando en verbosidad, tiempos de preguntas y preferencias de codificación).
• Desafío: Los agentes deben aprovechar los historiales de interacción previos para rastrear los estados mentales del usuario y adaptar su comportamiento, en lugar de depender únicamente de la instrucción actual.

Contribuciones Clave

1. Framework ToM-SWE: Una novedosa arquitectura de agente dual que desacopla la ejecución de codificación del modelado mental del usuario, permitiendo una optimización especializada y un seguimiento de usuario persistente sin abrumar el contexto del agente de codificación.
2. Stateful SWE Benchmark: Un nuevo conjunto de evaluación que prueba la capacidad de los agentes para adaptarse a diferentes usuarios a lo largo de múltiples sesiones, yendo más allá de la resolución de tareas estáticas de un solo turno.
3. Validación Empírica: Evaluación exhaustiva tanto en el nuevo Stateful SWE benchmark como en el existente Ambiguous SWE-bench, junto con un estudio humano en el mundo real.

Resultados

Rendimiento del Benchmark Offline

El agente propuesto, ToMCodeAct (construido sobre la plataforma OpenHands), fue comparado contra el agente de vanguardia CodeAct y una línea base RAGCodeAct (que recupera el historial bruto sin un modelado explícito).

• Ambiguous SWE-bench: ToMCodeAct logró una tasa de resolución de problemas del 63.4% (usando Claude Sonnet 4), superando el 51.9% de CodeAct (+11.5% de mejora).
• Stateful SWE benchmark: ToMCodeAct logró una tasa de resolución del 59.7%, una mejora sustancial sobre el 18.1% de CodeAct (+41.6 puntos porcentuales).
• Satisfacción del Usuario: ToMCodeAct obtuvo una puntuación significativamente mayor en satisfacción del usuario (3.62 frente a 2.57 para CodeAct), medida por un simulador de usuario condicionado al perfil que evalúa la alineación de preferencias y la comunicación.
• Análisis: El estudio encontró que simplemente recuperar datos de sesión brutos (RAG) era insuficiente; la abstracción explícita de las preferencias del usuario en un modelo mental era crítica. Además, se encontró una fuerte correlación positiva ($r=0.74$) entre la resolución de tareas y la satisfacción del usuario, aunque los agentes ToM también recibieron altas puntuaciones de satisfacción incluso cuando las tareas fallaban, siempre que la calidad del proceso y la comunicación estuvieran alineadas con las preferencias del usuario ("bono de buen esfuerzo").

Estudio Humano "In-the-Wild"

Se realizó un estudio observacional de tres semanas con 17 desarrolladores profesionales utilizando una CLI mejorada con ToM para sus tareas de codificación diarias elegidas por ellos mismos.

• Tasa de Aceptación: Los desarrolladores aceptaron o aceptaron parcialmente las sugerencias de ToM el 86% de las veces (174 sugerencias a través de 209 sesiones).
• Utilidad: Los comentarios indicaron que las sugerencias de ToM ayudaron a escribir explícitamente reglas que los usuarios habían mencionado en conversaciones previas, crearon perfiles de usuario precisos y mejoraron la eficiencia del flujo de trabajo.
• Sensibilidad al Contexto: Las tasas de éxito fueron más altas para consultas moderadamente subespecificadas con contexto técnico suficiente (ej. 92% para "Comprensión de Código"), pero disminuyeron para consultas extremadamente vagas.

Significado y Reivindicaciones

El artículo afirma que ToM-SWE demuestra que la colaboración efectiva humano-IA en la ingeniería de software requiere agentes que puedan inferir, mantener y actuar sobre modelos mentales específicos del usuario a lo largo del tiempo.

• Más allá de la Capacidad Técnica: Las capacidades de codificación sólidas son insuficientes sin la capacidad de modelar la intención y las preferencias del usuario, especialmente cuando las instrucciones son de alto nivel y subespecificadas.
• La Calidad del Proceso Importa: Los resultados resaltan que la satisfacción del usuario no está determinada únicamente por el éxito de la tarea (pruebas unitarias), sino también por la calidad del proceso de interacción, el estilo de comunicación y la alineación con las preferencias del usuario.
• Necesidad Arquitectónica: El diseño de agente dual se presenta como un mecanismo crucial para reducir la distracción del contexto para el agente de codificación, permitiendo al mismo tiempo un modelado de usuario especializado y persistente.
• Impacto Práctico: La alta tasa de aceptación en un entorno del mundo real sugiere que el modelado de usuario con estado es una mejora viable y valiosa para los agentes de codificación prácticos, aumentando potencialmente la productividad de los desarrolladores y reduciendo la fricción en la depuración e mantenimiento interactivo.

Los autores mantienen la modestia respecto a la privacidad y la generalización, reconociendo que el modelado de usuarios plantea riesgos de manipulación o vigilancia y que sus perfiles derivan de un subconjunto específico de desarrolladores. Enfatizan la necesidad de un despliegue responsable, consentimiento explícito y memoria controlada por el usuario.