SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

Os modelos de linguagem de grande escala são ferramentas poderosas que podem resolver problemas complexos, escrever código e navegar em ambientes digitais, mas frequentemente têm dificuldade quando uma tarefa exige uma longa cadeia de raciocínio. Imagine pedir a um estudante para resolver um problema matemático difícil ou planejar uma viagem de compras de várias etapas. Se o estudante errar a resposta final, ele recebe um sinal simples de "incorreto". Esse feedback diz que o resultado foi ruim, mas não explica qual etapa específica em sua longa cadeia de pensamento causou o erro. Foi um erro de cálculo no meio? Uma suposição errada no início? Sem saber onde ocorreu a falha, o modelo não consegue aprender facilmente a fazer melhor na próxima vez. Isso é conhecido como o problema da atribuição de crédito, um grande obstáculo no ensino de inteligência artificial para lidar com tarefas longas e complexas.

Pesquisadores tentaram resolver isso fazendo com que os modelos reflitam sobre seus próprios erros, de forma muito semelhante a um humano revisando uma prova para entender o que deu errado. No entanto, tentativas anteriores de usar essa autorreflexão durante o treinamento foram frequentemente ineficientes ou instáveis. Elas às vezes levavam o modelo a se confundir com seus próprios pensamentos acumulados ou falhavam em transformar a sensação vaga de "eu errei" em uma lição concreta para cada palavra que gerava. Uma nova abordagem chamada Otimização de Política Autorreflexiva, ou SRPO (Self-Reflective Policy Optimization), oferece um caminho diferente. Em vez de esperar por uma nota final, este método ensina o modelo a agir como seu próprio professor ao analisar suas tentativas concluídas, identificando exatamente onde ele se desviou e usando esse insight para guiar sua próxima tentativa.

Os pesquisadores por trás do SRPO, liderados por Jialong Liu e colegas, projetaram um sistema onde um modelo de linguagem aprende olhando para o próprio trabalho. O processo ocorre em duas fases distintas. Primeiro, o modelo tenta uma tarefa, como resolver um problema matemático ou navegar em uma loja virtual. Assim que a tentativa é finalizada, o modelo faz uma pausa para refletir. Ele revisa toda a sequência de suas ações e o resultado final, então escreve uma nota curta e concisa resumindo o que deu errado ou quais decisões principais foram feitas corretamente. Esta nota, que os autores chamam de "patch de reflexão" (reflection patch), não é um ensaio longo, mas um conjunto apertado de dicas acionáveis, geralmente apenas alguns tópicos.

Na segunda fase, o modelo tenta a mesma tarefa novamente, mas desta vez ele começa com a pergunta original mais a nota de reflexão que acabou de escrever. Essa nova combinação atua como um guia, dando efetivamente ao modelo uma segunda chance com o benefício da retrospectiva. O modelo gera uma nova tentativa de maior qualidade baseada nesse contexto enriquecido. Crucialmente, os pesquisadores não usam essa segunda tentativa, melhorada, como a resposta final. Em vez disso, eles a utilizam como um sinal de ensino. Eles comparam os novos pensamentos aprimorados do modelo contra seus pensamentos originais, sem orientação. Ao analisar a diferença entre os dois, o sistema cria um fluxo denso de sinais de aprendizado. Cada única palavra da tentativa original do modelo é avaliada: se uma palavra se alinha com a sabedoria da reflexão, ela é recompensada; se ela desvia, é corrigida. Isso transforma uma única nota de "correto" ou "incorreto" ao final de uma tarefa em milhares de lições minúsculas e específicas para cada palavra que o modelo escreveu.

Este método provou ser notavelmente eficaz. A equipe testou o SRPO em uma variedade de benchmarks desafiadores, incluindo competições matemáticas avançadas e tarefas de agentes complexos que exigem navegação em ambientes digitais. Em um teste de matemática difícil chamado AIME'24, um modelo usando SRPO alcançou uma pontuação média de 73,3 por cento (com um desvio padrão de ±1,4 em cinco execuções independentes). Isso foi uma melhoria significativa em relação a outros métodos líderes e foi alcançado usando apenas 8 por cento dos FLOPs de treinamento tipicamente necessários para treinamentos similares. O sistema também se destacou em tarefas de longo horizonte, como o WebShop, onde completou com sucesso 64,7 por cento das missões de compra, e o ALFWorld, onde resolveu 76,8 por cento das tarefas de simulação doméstica. Esses resultados sugerem que, ao internalizar a capacidade de refletir, o modelo aprendeu a corrigir seu próprio caminho de raciocínio sem precisar de um professor externo maior para guiá-lo.

O estudo também abordou um medo comum na pesquisa de inteligência artificial: que ensinar uma nova habilidade a um modelo possa fazer com que ele esqueça o que já sabia. Quando os pesquisadores treinaram o modelo em tarefas de programação após ele ter aprendido matemática, o método SRPO ajudou o modelo a reter 95,2 por cento de suas habilidades matemáticas originais. Em contraste, outros métodos viram quedas de desempenho muito maiores. Isso sugere que, como o modelo aprende a partir de sua própria distribuição de pensamentos em vez de imitar um especialista externo, ele mantém uma compreensão mais estável de suas próprias capacidades.

Os pesquisadores foram cuidadosos para verificar se o sucesso vinha do conteúdo das reflexões, e não apenas do texto extra que eles adicionavam. Eles testaram o sistema alimentando-o com reflexões geradas para problemas completamente diferentes. Quando a reflexão não correspondia à tarefa, o desempenho do modelo caía de volta aos níveis de base, provando que o conselho específico e relevante era o que impulsionava a melhoria. Eles também descobriram que as reflexões precisavam ser concisas; notas excessivamente longas ou verbosas na verdade prejudicavam o desempenho, provavelmente porque introduziam ruído e confusão.

Em última análise, o SRPO demonstra que um modelo de linguagem pode se tornar mais capaz ao aprender a criticar e guiar a si mesmo. Ao transformar resultados finais esparsos em orientação densa, palavra por palavra, o método permite que os modelos aprendam padrões de raciocínio complexos com muito menos exemplos e menos poder computacional do que o anteriormente considerado possível. O trabalho sugere um futuro onde sistemas de inteligência artificial podem continuamente melhorar seus próprios processos de raciocínio, tornando-se mais confiáveis e eficientes na resolução dos problemas longos e intrincados que definem os desafios do mundo real.