DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

Imagine que você tem um amigo robô superinteligente que sabe quase tudo sobre o mundo. Você pode pedir a ele para resolver um problema matemático difícil ou um enigma de lógica, e ele geralmente acerta. Mas aqui está o detalhe: quando você desliga o robô e o liga novamente, ele esquece tudo o que aprendeu com suas perguntas específicas. É como ter um gênio que acorda todas as manhãs com uma folha em branco, incapaz de se lembrar dos erros que cometeu ontem ou dos truques astutos que descobriu. Normalmente, para tornar um robô mais inteligente, você precisa refazer sua fiação cerebral (um processo chamado "treinamento"), o que é caro, lento e exige um acesso especial que muitas pessoas não possuem.

Assim, os cientistas têm feito uma grande pergunta: um robô congelado pode aprender sem refazer sua fiação cerebral? A resposta reside no que chamamos de "prompting" (instrução). Em vez de mudar o cérebro do robô, você pode mudar as instruções que dá a ele. Pense nisso como dar um novo cartão de receita a um chef. Se o cartão diz: "Lembre-se de salgar a sopa", o chef pode fazer um trabalho melhor. Mas se o chef continua cometendo o mesmo erro, uma simples nota pode não ser suficiente. Você precisa de uma maneira para o chef escrever por que falhou, descobrir uma estratégia melhor e transformar essa estratégia em uma regra permanente em seu cartão de receita, tudo isso sem mudar suas habilidades culinárias reais. Isso é a fronteira da "autoaperfeiçoamento" para a IA: ensinar um modelo estático a ficar mais inteligente apenas conversando consigo mesmo e aprendendo com suas próprias experiências.

Apresentamos o DIVE (Evolução de Habilidades Impulsionada pela Diversidade), um novo método que atua como uma oficina brilhante e caótica para esses robôs congelados. Os pesquisadores descobriram que, em vez de tentar encontrar o conjunto "perfeito" de instruções, é melhor executar uma equipe inteira de diferentes "versões" do robô, cada uma tentando aprender de uma maneira ligeiramente diferente.

Veja como o DIVE funciona: imagine um grupo de dez detetives diferentes tentando resolver um mistério. No passado, os pesquisadores poderiam ter pedido a apenas um detetive para resolver o caso, cometer um erro e depois tentar corrigir suas notas. Mas o DIVE diz: "Vamos fazer dez detetives trabalharem no caso ao mesmo tempo!" Cada detetive começa com um conjunto de notas ligeiramente diferente (uma "habilidade semente"). Enquanto trabalham, eles recebem feedback sobre onde erraram.

Em vez de apenas um detetive tentando corrigir suas notas, o DIVE usa uma caixa de ferramentas com diferentes "estratégias de correção". Um detetive pode tentar a Reparação Reflexiva, que é como olhar para um erro e dizer: "Ah, eu perdi uma pista aqui, deixe-me adicionar uma nota sobre isso". Outro pode tentar a Revisão Exploratória, que é como jogar fora o mapa antigo e desenhar um completamente novo porque o caminho antigo é um beco sem saída. Um terceiro pode tentar a Compressão, que é como pegar um caderno bagunçado de 50 páginas e condensá-lo em uma folha de referência concisa de 5 páginas que mantém apenas as regras mais importantes.

A magia do DIVE é que ele não apenas escolhe o "melhor" detetive e para. Ele mantém todos os dez detetives trabalhando em paralelo. Ele observa qual detetive está melhorando em que tipo de problema e dá a eles mais tempo para trabalhar. Se um detetive estiver travado, o sistema pode trazer uma nova estratégia fresca para ajudá-lo. Isso evita que todo o grupo fique preso na mesma ideia errada (um problema chamado "overfitting" ou sobreajuste).

Depois que os detetives tiveram sua chance de aprender e evoluir, o DIVE não escolhe apenas aquele com a pontuação mais alta. Em vez disso, ele olha para toda a equipe e escolhe um esquadrão complementar. Talvez o Detetive A seja ótimo em detectar padrões numéricos, enquanto o Detetive B é incrível em detectar armadilhas lógicas. Ao combinar seus "cartões de habilidade" únicos e evoluídos em uma única caixa de ferramentas, o robô pode resolver problemas que não conseguiria resolver antes.

O artigo mostra que este método funciona incrivelmente bem. Quando testado em competições matemáticas difíceis (como a HMMT) e enigmas de lógica complicados (como Sudoku), o DIVE permitiu que modelos pequenos e congelados aprendessem e melhorassem rapidamente. De fato, um modelo minúsculo usando as habilidades evoluídas do DIVE foi capaz de superar um modelo muito maior e mais poderoso que estava apenas usando instruções padrão. Os pesquisadores descobriram que o DIVE poderia alcançar esses grandes progressos com muito menos tentativas (ou "rollouts") do que outros métodos que tentam mudar o cérebro do modelo ou apenas ajustar o prompt uma única vez.

Crucialmente, o artigo argumenta que esta abordagem é melhor do que tentar encontrar um único "prompt mágico" ou confiar em um único caminho de aprendizado. Ao manter um grupo diversificado de habilidades em evolução e misturar as melhores partes de cada uma, o DIVE cria um sistema robusto e de autoaperfeiçoamento que não precisa ser reconfigurado. Ele sugere que, para modelos congelados, o segredo para se tornar mais inteligente não é uma instrução perfeita única, mas uma biblioteca diversa e evolutiva de estratégias das quais o modelo pode extrair para resolver qualquer problema.