LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents
O LEGO-RL é um framework que permite o aprendizado por reforço escalável para agentes de codificação ao fazer a ponte entre harnesses de execução nativos e otimização de gradiente de política através de proxying de LLM in-process, orquestração robusta de sandbox e monitoramento integrado, melhorando significativamente o desempenho do modelo no SWE-bench Verified através de diversos ambientes enquanto mantém um alto alinhamento entre treinamento e inferência.
Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, pesquisadores estão ensinando computadores a agir como engenheiros de software autônomos. Esses agentes digitais não apenas respondem perguntas; eles navegam por bases de código complexas, usam ferramentas para corrigir bugs e executam testes para ver se suas alterações funcionam. Para aprender essas habilidades, os agentes utilizam um método chamado aprendizado por reforço. Imagine um estudante aprendendo a resolver um quebra-cabeça: ele tenta um movimento e, se isso o aproximar da solução, recebe uma pequena recompensa. Com o tempo, ele aprende quais movimentos levam ao sucesso. Para os agentes de codificação, esse processo envolve gerar sequências longas de ações, observar um programa de computador rodar e receber um sinal simples de "sim" ou "não" indicando se o código que escreveram realmente resolveu o problema. O desafio reside no fato de que esses agentes operam em ambientes de computação reais e desordenados, onde as coisas podem dar errado de maneiras imprevisíveis. Se o ambiente travar, se o sistema de recompensa for enganado ou se o computador que registra os pensamentos do agente perder o rastro do que foi realmente dito, o processo de aprendizado entra em colapso. O agente pode aprender a explorar o sistema ou simplesmente parar de aprender porque o feedback que recebe é pouco confiável.
Uma equipe de pesquisadores desenvolveu um novo sistema chamado LEGO-RL para resolver esses problemas específicos. O objetivo deles era conectar agentes de codificação existentes e complexos a algoritmos de aprendizado poderosos sem forçar os agentes a mudar a forma como trabalham. Pense no agente como um trabalhador qualificado que sabe exatamente como usar um conjunto específico de ferramentas e seguir um fluxo de trabalho específico. Tentativas anteriores de treinar esses trabalhadores frequentemente exigiam a reconstrução de todo o seu espaço de trabalho para se ajustar ao software de treinamento, o que frequentemente causava erros ou alterava o comportamento natural do trabalhador. A equipe do LEGO-RL, em vez disso, construiu uma ponte que permite ao software de treinamento observar o trabalhador exatamente como ele é, capturando cada movimento e pensamento em tempo real, enquanto protege o processo de aprendizado do caos do mundo real.
O núcleo de sua solução é um framework que garante que o computador de treinamento veja exatamente o que o agente vê e faz. Quando um agente gera uma resposta, um componente especial captura o fluxo bruto de palavras e a probabilidade exata que o agente atribuiu a cada palavra antes que qualquer outro software pudesse alterá-la ou resumi-la. Isso é crucial porque o software que gerencia o ambiente do agente frequentemente reescreve o histórico ou comprime informações para economizar espaço. Se o sistema de treinamento dependesse dessas versões reescritas, ele calcularia o progresso de aprendizado do agente com base em uma memória distorcida dos eventos. Ao capturar os dados no momento da geração, os pesquisadores garantiram que o sinal de aprendizado permanecesse fiel às decisões reais do agente. Além disso, eles construíram um sistema para reproduzir as escolhas internas específicas que o agente fez, garantindo que mesmo modelos complexos com múltiplas partes especializadas aprendessem pelo caminho correto.
Para manter o processo de aprendizado confiável, a equipe criou um ambiente altamente organizado onde cada teste roda em seu próprio contêiner isolado e seguro. Isso evita que um teste quebrado derrube todo o sistema e impede que os agentes encontrem atalhos para burlar o sistema de pontuação. Por exemplo, eles esconderam as respostas dos agentes durante o teste e garantiram que o software usado para avaliar o trabalho não pudesse ser adulterado. Eles também projetaram o sistema para lidar com falhas de forma graciosa. Se um agente ficar travado ou o ambiente falhar, o sistema identifica o problema, descarta essa tentativa específica e segue em frente sem deixar que o erro corrompa os dados de aprendizado. Isso permite que o treinamento continue sem problemas, mesmo quando testes individuais falham, o que acontece frequentemente em tarefas de codificação complexas.
Os pesquisadores testaram este sistema treinando um modelo de linguagem de grande escala usando três diferentes frameworks de agentes de codificação já existentes. Eles descobriram que o sistema funcionou de forma notável em todos os três. A capacidade do modelo de resolver problemas de software do mundo real melhorou significamente. Ao usar um framework popular, a taxa de sucesso saltou de 64 por cento para mais de 70 por cento. Com outro, subiu de 62 por cento para quase 68 por cento, e com um terceiro, subiu de 57 por cento para quase 67 por cento. Crucialmente, os pesquisadores verificaram que o processo de aprendizado era honesto; a relação matemática entre o que o agente fez e o que o sistema de treinamento calculou permaneceu quase perfeita, com uma correlação acima de 99 por cento. Isso provou que o sistema não estava apenas tendo sorte, mas estava genuinamente aprendendo com os dados corretos.
Além de apenas melhorar as pontuações, o sistema forneceu uma janela clara para entender como os agentes aprendem. Os pesquisadores puderam observar o treinamento em tempo real, vendo exatamente por que um teste falhou ou como o comportamento do agente mudou ao longo de semanas de treinamento. Eles observaram que, conforme os agentes melhoravam, começavam a verificar seu próprio trabalho com mais frequência, lendo arquivos que haviam acabado de editar para garantir que suas alterações estavam corretas. Eles também notaram que os agentes começaram a dar mais passos para resolver problemas, engajando-se em conversas mais longas e complexas com o computador para alcançar uma solução. Esse nível de detalhe permitiu que os pesquisadores diagnosticassem problemas rapidamente, como quando um agente parou de usar ferramentas e começou a escrever texto, e ajustassem o treinamento de acordo.
O sucesso do LEGO-RL demonstra que escalar o treinamento de agentes de codificação exige mais do que apenas computadores mais rápidos ou modelos maiores. Exige um sistema que respeite a integridade do fluxo de trabalho do agente enquanto fornece um ambiente estável e observável para o aprendizado. Ao construir um framework que captura dados fielmente, protege contra erros e oferece visibilidade profunda no processo de aprendizado, os pesquisadores mostraram que é possível ensinar agentes de codificação complexos a melhorar de forma confiável. O trabalho deles sugere que o futuro da codificação autônoma não reside em forçar agentes em moldes rígidos, mas em construir sistemas flexíveis e robustos que possam aprender com a realidade desordenada do desenvolvimento de software.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.