Resumen Técnico: Aprendizaje de Agentes CLI con Crédito de Acción Estructurado bajo Observación Selectiva

Enunciado del Problema

Los agentes de Interfaz de Línea de Comandos (CLI) representan un paradigma práctico para la interacción agente-computadora, operando directamente dentro de entornos de sistema de archivos mediante comandos de shell en lugar de APIs de herramientas predefinidas. Sin embargo, el entrenamiento de estos agentes enfrenta dos cuellos de botella acoplados:

1. Observación Selectiva: Los agentes deben identificar evidencia relevante para la tarea dentro de grandes bases de código y sistemas de archivos de alta dimensión a partir de observaciones parciales. La vista inicial a menudo cubre solo una proyección limitada del entorno, lo que dificulta seleccionar los archivos o directorios correctos para la acción.
2. Crédito de Acción Escaso: En interacciones de múltiples turnos, las recompensas terminales suelen ser escasas y retrasadas, apareciendo solo al final del episodio. Asignar crédito a acciones específicas que moldean una trayectoria larga es desafiante, particularmente cuando el espacio de estados es grande y casi cada observación es única, debilitando las suposiciones realizadas por los métodos existentes de aprendizaje por refuerzo (RL) que dependen de estados repetidos para la normalización.

Los enfoques actuales, como el ajuste fino supervisado a nivel de trayectoria, a menudo conducen a la memorización de patrones de interfaz en lugar de una comprensión genuina de la tarea. Por el contrario, los métodos de RL existentes (por ejemplo, variantes de Optimización de Política Relativa de Grupo) luchan con la asignación de crédito en entornos CLI debido a la falta de estados repetidos y la complejidad de mapear recompensas terminales escasas a estructuras específicas de comandos de shell.

Metodología

El artículo propone un marco unificado que aborda tanto la observación como la asignación de crédito a través de dos mecanismos principales: $\sigma$-Reveal y Asignación de Ventaja de Acción (A3).

1. $\sigma$-Reveal: Observación Selectiva

Para abordar el cuello de botella de la observación parcial, los autores introducen $\sigma$-Reveal, un mecanismo en tiempo de inferencia que construye una vista inicial del espacio de trabajo con un presupuesto de tokens.

• Mecanismo: Antes de la primera acción, $\sigma$-Reveal selecciona un conjunto cerrado de subárboles de archivos del árbol de archivos inicial ($FS_0$) que maximiza una puntuación de relevancia $\hat{\mu}(x | o_0)$ bajo un presupuesto de tokens $B$.
• Puntuación de Relevancia: La puntuación combina tres señales:
  1. Coincidencia de Nombres: Si el nombre del archivo coincide con los tokens en la instrucción de la tarea.
  2. Prioridad de Profundidad: Un decaimiento geométrico basado en la profundidad del archivo en el árbol de directorios.
  3. Prioridad de Extensión: La probabilidad de que la extensión del archivo sea relevante para el tipo de tarea inferida.
• Resultado: Esto asegura que el agente reciba una vista del espacio de trabajo contextualmente rica pero eficiente en tokens, preservando el contexto del directorio para los archivos seleccionados.

2. Asignación de Ventaja de Acción (A3)

Para abordar la asignación de crédito escasa, A3 es un método nativo de RL agéntico que construye ventajas por turno fusionando tres señales complementarias sin requerir modelos de valor auxiliares ni anclaje de estados.

• Similitud de Acción Basada en AST: El método cuantifica la intención de la acción comparando las firmas de Árbol de Sintaxis Abstracta (AST) de los comandos de shell. Utilizando Tree-sitter para Bash, las acciones se convierten en firmas estructurales (verbos, literales, estructuras de control) independientes de rutas de archivo específicas o valores literales. La distancia entre acciones se calcula mediante la distancia de Levenshtein normalizada sobre estas firmas.
• Fusión de Ventaja de Tres Canales:
  1. Columna Vertebral del Episodio ($A^{ep}$): Contrasta el retorno de una ejecución contra la mediana de retornos de ejecuciones hermanas para el mismo prompt, normalizado por la Desviación Absoluta Mediana (MAD). Esto proporciona una señal global de éxito de la tarea.
  2. Residuo de Subcadena de Acción a Nivel de Turno ($A^{intent}$): Agrupa trayectorias en un turno específico basándose en la similitud estructural de sus cadenas de acciones recientes (utilizando la distancia AST). Calcula una media de "leave-one-out" (LOO) de retornos para acciones estructuralmente similares y asigna crédito basándose en la desviación de esta media. Esto aísla el valor de estructuras de comandos específicas.
  3. Ventaja de Árbol ($A^{tree}$): Abstrae los historiales de interacción en "cubos" basados en firmas de acciones pasadas. Calcula la diferencia de valor entre tomar una rama de acción abstracta específica versus la rama promedio desde el mismo estado abstracto. Esta señal está controlada por el tamaño del grupo para prevenir ruido en clusters pequeños.
• Fusión: Estas tres señales se normalizan, ponderan y pasan a través de una función de activación acotada (tanh) para producir la ventaja final $A_i$ utilizada para las actualizaciones del gradiente de política.

3. Conjunto de Datos ShellOps

Para evaluar este entorno, los autores construyeron ShellOps y ShellOps-Pro, suites de conjuntos de datos verificables que cubren tareas CLI en entornos de repositorios.

• Alcance: Las tareas incluyen Búsqueda (extracción de valores), Agregación (respuestas escalares de evidencia dispersa), Edición (reescrituras verificables de archivos) y Mixta (combinación de stdout y ediciones de archivos).
• Escala: ShellOps contiene 1.624 tareas; ShellOps-Pro añade 150 tareas más difíciles, fuera de distribución, con espacios de trabajo más grandes (mediana de 25 archivos por tarea frente a 3 en el conjunto estándar) y extensiones de archivo diversas.

Resultados Clave

Los experimentos se realizaron utilizando el modelo de política Qwen3-14B a través de múltiples puntos de referencia (AgentBench, DataBench, EHRCon, TableBench y ShellOps).

• Rendimiento: A3 con $\sigma$-Reveal logró los resultados más fuertes entre los métodos Qwen3-14B. En las tareas híbridas de ShellOps (que requieren tanto ediciones de archivos como stdout), A3 logró una puntuación de coincidencia exacta del 24,6%, superando significativamente a la línea base más fuerte (11,3%).
• Eficiencia de Muestreo: En términos de Pass@k, A3 con $\sigma$-Reveal alcanzó un 55,7% en ShellOps (Pass@5), en comparación con un 28,6% para la mejor línea base no A3.
• Transferencia a Largo Horizonte: En ShellOps-Pro con horizontes extendidos (hasta 10 pasos), A3 mantuvo el mejor rendimiento entre los agentes Qwen3-14B, alcanzando niveles de rendimiento comparables a modelos fronterizos mucho más grandes (por ejemplo, Qwen3-235B) en configuraciones específicas, aunque persistieron brechas con modelos como Kimi-K2.6.
• Estabilidad: Los diagnósticos de entrenamiento mostraron que A3 mantuvo un KL sustituto y entropía de política estables, evitando los "picos de KL" y el colapso de entropía observados en líneas base como HGPO y RetroAgent.
• Eficiencia: El costo de cálculo de la ventaja de A3 es comparable al entrenamiento relativo de grupo estándar, a diferencia de los métodos que dependen de jueces LLM (por ejemplo, GiGPO, HGPO) que incurren en una sobrecarga computacional significativamente mayor.

Significado y Afirmaciones

El artículo afirma que la selección de evidencia del espacio de trabajo y la estructura de comandos son bases efectivas para el aprendizaje de agentes CLI.

• Crédito Estructural: Al aprovechar los atributos estructurados nativos de las acciones CLI (firmas AST) en lugar del texto superficial, A3 proporciona un método escalable y computacionalmente eficiente para la asignación de crédito que no depende de estados repetidos ni de jueces externos.
• Gestión de Observación: $\sigma$-Reveal demuestra que la inyección de contexto selectiva y con presupuesto de tokens puede mitigar efectivamente el problema de observación parcial en grandes sistemas de archivos sin requerir búsquedas exhaustivas.
• Paradigma Práctico: El trabajo establece un ciclo verificable para agentes CLI donde las recompensas se derivan de resultados ejecutables (estados de archivos y salidas terminales), avanzando más allá de pares de entrada-salida aislados hacia una verdadera optimización de interacción de múltiples turnos.

Los autores señalan limitaciones, incluida la dependencia de la estructura de shell como proxy para la intención (lo cual puede pasar por alto diferencias semánticas en rutas o contenidos de archivos) y que el alcance actual se limita a interacciones de sistema de archivos impulsadas por shell, requiriendo mayor validación para entornos GUI o de red.