Resumo Técnico: Aprendizado de Agentes CLI com Crédito de Ação Estruturado sob Observação Seletiva

Declaração do Problema

Agentes de Interface de Linha de Comando (CLI) representam um paradigma prático para interação agente-computador, operando diretamente em ambientes de sistema de arquivos por meio de comandos de shell, em vez de APIs de ferramentas predefinidas. No entanto, o treinamento desses agentes enfrenta dois gargalos acoplados:

1. Observação Seletiva: Os agentes devem identificar evidências relevantes para a tarefa dentro de grandes bases de código e sistemas de arquivos de alta dimensão a partir de observações parciais. A visão inicial frequentemente cobre apenas uma projeção limitada do ambiente, dificultando a seleção dos arquivos ou diretórios corretos para ação.
2. Crédito de Ação Esparsa: Em interações de múltiplas rodadas, as recompensas terminais são frequentemente esparsas e atrasadas, aparecendo apenas no final do episódio. Atribuir crédito a ações específicas que moldam uma trajetória longa é desafiador, particularmente quando o espaço de estados é grande e quase toda observação é única, enfraquecendo as suposições feitas por métodos existentes de Aprendizado por Reforço (RL) que dependem de estados repetidos para normalização.

Abordagens atuais, como ajuste fino supervisionado em nível de trajetória, frequentemente levam à memorização de padrões de interface em vez de compreensão genuína da tarefa. Por outro lado, métodos existentes de RL (por exemplo, variantes de Otimização de Política Relativa em Grupo) lutam com a atribuição de crédito em configurações de CLI devido à falta de estados repetidos e à complexidade de mapear recompensas terminais esparsas para estruturas específicas de comandos de shell.

Metodologia

O artigo propõe um framework unificado que aborda tanto a observação quanto a atribuição de crédito por meio de dois mecanismos principais: $\sigma$-Reveal e Atribuição de Vantagem de Ação (A3).

1. $\sigma$-Reveal: Observação Seletiva

Para abordar o gargalo da observação parcial, os autores introduzem o $\sigma$-Reveal, um mecanismo de tempo de inferência que constrói uma visão inicial de espaço de trabalho orçada em tokens.

• Mecanismo: Antes da primeira ação, o $\sigma$-Reveal seleciona um conjunto fechado de subárvores de arquivos da árvore de arquivos inicial ($FS_0$) que maximiza uma pontuação de relevância $\hat{\mu}(x | o_0)$ sob um orçamento de tokens $B$.
• Pontuação de Relevância: A pontuação combina três sinais:
  1. Correspondência de Nome: Se o nome do arquivo corresponde a tokens na instrução da tarefa.
  2. Prioridade de Profundidade: Um decaimento geométrico baseado na profundidade do arquivo na árvore de diretórios.
  3. Prioridade de Extensão: A probabilidade de a extensão do arquivo ser relevante para o tipo de tarefa inferido.
• Resultado: Isso garante que o agente receba uma visão do espaço de trabalho contextualmente rica, mas eficiente em tokens, preservando o contexto do diretório para os arquivos selecionados.

2. Atribuição de Vantagem de Ação (A3)

Para abordar a atribuição de crédito esparsa, o A3 é um método nativo de RL agêntico que constrói vantagens por turno fundindo três sinais complementares sem exigir modelos de valor auxiliares ou ancoragem de estado.

• Similaridade de Ação Baseada em AST: O método quantifica a intenção da ação comparando assinaturas de Árvore de Sintaxe Abstrata (AST) de comandos de shell. Usando o Tree-sitter para Bash, as ações são convertidas em assinaturas estruturais (verbos, literais, estruturas de controle) independentes de caminhos de arquivo específicos ou valores literais. A distância entre ações é calculada por meio da distância de Levenshtein normalizada nessas assinaturas.
• Fusão de Vantagem de Três Canais:
  1. Espinha Dorsal do Episódio ($A^{ep}$): Contrasta o retorno de uma execução contra o retorno mediano de execuções irmãs para o mesmo prompt, normalizado pelo Desvio Absoluto Mediano (MAD). Isso fornece um sinal global de sucesso da tarefa.
  2. Resíduo de Sub-cadeia de Ação em Nível de Turno ($A^{intent}$): Agrupa trajetórias em um turno específico com base na similaridade estrutural de suas sub-cadeias de ação recentes (usando a distância AST). Calcula uma média leave-one-out (LOO) dos retornos para ações estruturalmente semelhantes e atribui crédito com base no desvio dessa média. Isso isola o valor de estruturas de comando específicas.
  3. Vantagem de Árvore ($A^{tree}$): Abstrai históricos de interação em "buckets" com base em assinaturas de ações passadas. Calcula a diferença de valor entre tomar um ramo de ação abstrato específico versus o ramo médio do mesmo estado abstrato. Este sinal é controlado pelo tamanho do grupo para evitar ruído em pequenos clusters.
• Fusão: Esses três sinais são normalizados, ponderados e passados por uma função de ativação limitada (tanh) para produzir a vantagem final $A_i$ usada para atualizações de gradiente de política.

3. Conjunto de Dados ShellOps

Para avaliar essa configuração, os autores construíram os conjuntos de dados ShellOps e ShellOps-Pro, suites verificáveis cobrindo tarefas de CLI em ambientes de repositório.

• Escopo: As tarefas incluem Busca (extração de valores), Agregação (respostas escalares de evidências dispersas), Edição (reescritas verificáveis de arquivos) e Misto (combinando stdout e edições de arquivo).
• Escala: O ShellOps contém 1.624 tarefas; o ShellOps-Pro adiciona 150 tarefas mais difíceis, fora da distribuição, com espaços de trabalho maiores (mediana de 25 arquivos por tarefa versus 3 no conjunto padrão) e extensões de arquivo diversas.

Resultados Chave

Os experimentos foram conduzidos usando o modelo de política Qwen3-14B em múltiplos benchmarks (AgentBench, DataBench, EHRCon, TableBench e ShellOps).

• Desempenho: O A3 com $\sigma$-Reveal alcançou os melhores resultados entre os métodos Qwen3-14B. Nas tarefas híbridas do ShellOps (exigindo tanto edições de arquivo quanto stdout), o A3 alcançou uma pontuação de correspondência exata de 24,6%, superando significativamente a melhor linha de base (11,3%).
• Eficiência de Amostragem: Em termos de Pass@k, o A3 com $\sigma$-Reveal atingiu 55,7% no ShellOps (Pass@5), comparado a 28,6% para a melhor linha de base sem A3.
• Transferência de Longo Horizonte: No ShellOps-Pro com horizontes estendidos (até 10 etapas), o A3 manteve o melhor desempenho entre os agentes Qwen3-14B, alcançando níveis de desempenho comparáveis a modelos de fronteira muito maiores (por exemplo, Qwen3-235B) em configurações específicas, embora lacunas permanecessem em relação a modelos como Kimi-K2.6.
• Estabilidade: Diagnósticos de treinamento mostraram que o A3 manteve KL substituto e entropia de política estáveis, evitando os "picos de KL" e o colapso de entropia observados em linhas de base como HGPO e RetroAgent.
• Eficiência: O custo de computação de vantagem do A3 é comparável ao treinamento relativo em grupo padrão, ao contrário de métodos que dependem de juízes LLM (por exemplo, GiGPO, HGPO), que incorrem em sobrecarga computacional significativamente maior.

Significado e Alegações

O artigo afirma que a seleção de evidências do espaço de trabalho e a estrutura de comandos são bases eficazes para o aprendizado de agentes CLI.

• Crédito Estrutural: Ao aproveitar os atributos estruturados nativos das ações de CLI (assinaturas AST) em vez de texto superficial, o A3 fornece um método escalável e computacionalmente eficiente para atribuição de crédito que não depende de estados repetidos ou juízes externos.
• Gerenciamento de Observação: O $\sigma$-Reveal demonstra que a injeção de contexto seletiva e orçada em tokens pode mitigar efetivamente o problema da observação parcial em grandes sistemas de arquivos sem exigir busca exaustiva.
• Paradigma Prático: O trabalho estabelece um loop verificável para agentes CLI onde as recompensas são derivadas de resultados executáveis (estados de arquivo e saídas terminais), indo além de pares isolados de entrada-saída para otimização verdadeira de interação de múltiplas rodadas.

Os autores observam limitações, incluindo a dependência da estrutura de shell como um proxy para intenção (o que pode perder diferenças semânticas em caminhos ou conteúdos de arquivo) e o escopo atual limitado a interações de sistema de arquivos acionadas por shell, exigindo validação adicional para configurações de GUI ou de rede.