Resumo Técnico: Trajetórias que se Segmentam Sozinhas

1. Definição do Problema

Trajetórias de agentes de codificação de longo horizonte apresentam um descompasso fundamental com as unidades de treinamento padrão. As abordagens atuais dependem de três mecanismos falhos de atribuição de crédito:

• Crédito por ação: Ações individuais (ex: grep, pytest) carecem de valor intrínseco; sua utilidade depende inteiramente da hipótese causal que servem.
• Rótulos de episódios terminais: Um único bit de sucesso/falha confunde exploração produtiva com direções abandonadas, mesclando fases bem fundamentadas com compromissos falhos.
• Janelas fixas: Limites arbitrários de passos de tempo (ex: janelas de $K$-turn) frequentemente dividem investigações coerentes ou fundem o abandono de uma causa com a adoção de outra.

Esses limites são derivados de mecânicas de registro (logging) em vez do estado epistêmico evolutivo do agente, resultando em alvos ruidosos que recompensam a forma superficial em detrimento do raciocínio causal.

2. Metodologia

2.1 Autosegmentação Semântica Declarada pelo Agente

O artigo introduz um protocolo de coleta onde o próprio agente atuante expõe seus próprios limites via um contrato declarativo.

• O Mecanismo: Durante um rollout de uso de ferramentas, o agente adota uma hipótese causal falseável ($h_k$) e a declara. O agente então reúne evidências, edita código ou executa verificações sob esta hipótese. A fase termina quando o agente adota uma nova hipótese ($h_{k+1}$) ou quando a trajetória termina.
• O Custo: Isso adiciona um overhead mínimo (média de 52 tokens por declaração, ~9,8% da saída do agente) comparado a alternativas que exigem patches de ouro, vocabulários específicos do ambiente, ambientes reproduzíveis ou segmentadores post-hoc.
• O Protocolo de Coleta: Um agente tenta uma tarefa. Se ele falhar em testes ocultos, um modelo revisor intervém. O revisor vê a correção de referência, mas é proibido de nomeá-la. Em vez disso, o revisor deve fornecer: (1) uma negação da abordagem errada atual e (2) a menor direção positiva para investigar a seguir. Isso força o agente a abandonar a hipótese refutada e adotar uma nova hipótese, criando uma transição clara de "causa-errada-então-correção".

2.2 Quatro Alvos Supervisionados de uma Única Coleta

Um único rollout gera quatro visões de treinamento distintas, aproveitando a assimetria de informação:

1. Auditoria (2.721 linhas): O auditor vê a fase concluída e a evidência delimitada para julgar se a direção foi sólida e identificar evidências ausentes. Isso recupera lições de spans que um rótulo de episódio descartaria.
2. Proposta (1.405 linhas): O modelo vê apenas o estado no limite (mascarado) e deve derivar uma próxima hipótese verificável ou identificar evidência ausente.
3. Correção (553 linhas): O modelo vê uma causa e fonte confirmadas pelo resultado para transformar um diagnóstico localizado em um patch.
4. Pares de Preferência (2.551 linhas): O modelo vê o estado de fronteira mascarado e aprende a preferir uma abertura progressiva em vez de uma estagnada ou refutada.

2.3 Phase-DPO

O artigo implementa uma Otimização de Preferência Direta (DPO) padrão nos pares de preferência. O objetivo é aprender uma política $\pi_\theta$ tal que $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$, onde $y^+$ é uma hipótese de abertura preferida e $y^-$ é uma rejeitada, dado o estado mascarado $x$. A fase serve como a unidade de crédito, definindo onde o contexto é cortado e qual texto é o alvo.

3. Principais Contribuições

1. Limites Independentes de Dependência: A segmentação é fornecida pela própria política atuante sob um contrato declarativo, não exigindo patches de ouro externos, vocabulários de marcos ou segmentadores post-hoc. O limite chega dentro do mesmo rollout que produz a trajetória.
2. Unidades Endereçáveis: Diferente de janelas definidas por posição, uma hipótese declarada é um handle endereçável. Isso permite atribuição de crédito mais granular, supervisão de processo sem anotação de passo e orientação por nome (negando conjecturas específicas em vez de trajetórias inteiras).
3. Coerência Semântica: Os limites rastreiam o raciocínio do agente, não artefatos de log.
   • Atribuição: Quando as declarações são removidas, um modelo independente atribui blocos de ação às suas hipóteses regentes com 2,18x de chance (teste de sinal pareado $p=0,0002$), superando janelas de igual comprimento.
   • Recuperabilidade: Um anotador humano cego ao código identifica 24/40 limites (contra 11,5 esperados pelo acaso), enquanto uma regra mecânica de evento de teste não consegue superar o acaso nem em limiares estritos nem permissivos.
4. Interface de Construção: O protocolo fabrica transições de "causa-errada-então-correção" raramente encontradas em trabalhos registrados, gerando supervisão de auditoria de regiões falhas que rótulos de episódio padrão descartariam.

4. Resultados

4.1 Validade da Unidade

• Atribuição: Blocos de ação permanecem atribuíveis à sua hipótese regente mesmo após a remoção do texto da declaração, confirmando que o limite é semântico, não lexical.
• Recuperabilidade: Um leitor cego ao código recupera os limites significativamente melhor do que o acaso, embora ocorra sobre-segmentação (1,55x), indicando que os limites não são trivialmente reproduzíveis por heurísticas simples.

4.2 Otimização Downstream (Phase-DPO)

• Sensibilidade de Orientação: Treinar em 2.551 pares com uma política SFT de 27B produz um braço de rótulo invertido que não reproduz a separação, confirmando que o sinal não é um artefato do shell do otimizador.
• Limites de Generalização:
  • Em itens mantidos adversariamente (87 instâncias), o adaptador treinado mudou 0/91 decisões.
  • Em itens de construção correspondente (60 itens da mesma família de geradores), o adaptador mudou 4/60 decisões (todas de errado-para-certo), enquanto os controles não mudaram nenhuma.
  • Conclusão: A preferência ajustada é real, mas vinculada à construção; ela aprende como os pares foram escritos, em vez de uma capacidade generalizável.

4.3 Piloto de Rollout

Um piloto de 20 tarefas no SWE-bench Verified mostrou:

• Taxa de Resolução: Base (13/20), SFT (14/20), Phase-DPO (14/20). Nenhuma melhoria estatisticamente significativa na taxa de resolução.
• Eficiência: O Phase-DPO mostrou uma tendência para trajetórias mais curtas (redução de 14,0% em mensagens vs. base), mas os intervalos de confiança incluíram zero.
• Estudos de Caso: Casos específicos mostraram o DPO tomando decisões melhores (ex: preservando padrões internos) ou piores (ex: comprometendo-se com loci errados precocemente), destacando que uma melhor seleção de fase não garante o sucesso global.

5. Significância e Alegações

O artigo alega modestamente que o protocolo de segmentação no tempo de coleta e a interface de dados são as principais contribuições.

• O que foi estabelecido: Um limite semântico pode ser obtido de forma barata sem dependências externas. Este limite cria uma unidade coerente onde as ações são atribuíveis a uma hipótese regente, permitindo a extração de lições de direções de busca falhas (supervisão de auditoria) e a construção de pares de preferência.
• O que não foi estabelecido: O artigo não afirma que o treinamento nessas unidades resulta em uma política com capacidades de codificação end-to-end superiores ou taxas de resolução mais altas. O sinal de otimização é sensível à orientação, mas atualmente vinculado à construção de seus pares de treinamento.
• Direção Futura: O artigo postula que a próxima variável a ser alterada é a diversidade do corpus de pares, não a definição do limite em si. O limite é uma condição necessária para a unidade, mas a utilidade da unidade depende da qualidade e variedade dos dados que ela estrutura.

O trabalho reformula o problema da "unidade de crédito": ao permitir que o agente declare seus próprios compromissos causais, o sistema fabrica dados de treinamento que distinguem entre direções de busca em vez de apenas resultados, oferecendo um caminho para um treinamento de agentes mais granular e interpretável.