Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

Imagine que você está treinando um robô assistente superinteligente para resolver todos os tipos de quebra-cabeças, desde problemas matemáticos até enigmas de lógica. Você quer que esse robô seja um verdadeiro generalista, capaz de lidar com qualquer coisa que você jogue contra ele sem se confundir ou falhar nas partes difíceis. No mundo da inteligência artificial, isso é chamado de "raciocínio", e os robôs são chamados de Grandes Modelos de Linguagem (LLMs). Para tornar esses modelos melhores, os cientistas usam uma técnica chamada "Aprendizado por Reforço", que é como dar um "high-five" (uma recompensa) ao robô quando ele acerta uma resposta e um gentil "tente novamente" quando ele erra. Uma maneira popular de fazer isso é o GRPO, que é um método inteligente para descobrir exatamente quanto o robô deve aprender de cada tentativa. No entanto, há um problema: se você pedir ao robô para aprender dez tipos diferentes de quebra-cabeças ao mesmo tempo, ele frequentemente fica travado. Ele pode ficar muito bom nos quebra-cabeças fáceis, mas ignorar completamente os difíceis, ou pode ficar preso em um tipo específico de enigma enquanto esquece como fazer os outros. O grande questionamento é: como treinamos um único cérebro para ser igualmente bom em tudo, garantindo que nenhuma habilidade individual seja deixada para trás?

Este é exatamente o problema abordado por um novo método chamado Multi-Task GRPO (MT-GRPO). Pense no processo de treinamento padrão como um professor tentando ensinar uma classe de alunos com velocidades de aprendizado muito diferentes. Se o professor apenas focar no aluno "médio", as crianças inteligentes podem ficar entediadas enquanto as que têm dificuldade ficam ainda mais para trás. A abordagem padrão muitas vezes permite que as tarefas fáceis "sequestrem" o treinamento, fazendo o modelo parecer bom na média, enquanto secretamente falha nos desafios difíceis. Os autores deste artigo perceberam que simplesmente tirar a média das pontuações não torna o robô confiável; você precisa garantir que o pior desempenho da classe também esteja melhorando.

Para corrigir isso, os pesquisadores inventaram uma estratégia de duas partes. Primeiro, eles criaram um "sistema de ponderação dinâmica". Imagine um treinador que observa constantemente o placar. Se o robô estiver indo muito bem no "Countdown" (um jogo matemático), mas muito mal nos "Enigmas da Zebra" (enigmas de lógica), o treinador imediatamente muda o foco. Eles começam a dar ao robô mais problemas de prática da categoria Zebra e menos da categoria matemática. Mas a parte complicada é que, às vezes, o rob em tenta um enigma da Zebra e recebe uma pontuação "zero" porque nem sequer tentou resolvê-lo adequadamente, o que significa que ele não aprende nada com essa tentativa. Se o treinador apenas contar o número de problemas, eles podem pensar que estão ensinando enigmas da Zebra, mas, na realidade, o robô só está aprendendo com os problemas matemáticos porque as tentativas da Zebra foram "gradientes zero" (aprendizado vazio).

Para resolver isso, a segunda parte de sua invenção é um "Amostrador de Preservação de Razão" (Ratio-Preserving Sampler). Isso é como um bibliotecário muito rigoroso que garante que, mesmo que o robô jogue fora as tentativas de prática inúteis, a pilha final de problemas de prática úteis ainda tenha a mistura exata de matemática e lógica. Se o treinador quer que 30% da prática sejam enigmas de lógica, o bibliotecário garante que, após filtrar o lixo, 30% dos problemas restantes que são bons ainda sejam enigmas de lógica. Isso evita que as tarefas fáceis tomem o controle do treinamento apenas porque as tarefas difíceis têm mais tentativas "falhas".

Os resultados deste novo método são bastante promissores. Quando a equipe o testou em uma mistura de três tarefas de raciocínio diferentes, este novo método MT-GRPO melhorou a precisão da tarefa com o pior desempenho em 16–28% em comparação com o método padrão, e em 6% em comparação com outro método avançado chamado DAPO. Mais impressionante ainda, ele atingiu um limiar de 50% de precisão nas tarefas mais difíceis usando 50% menos etapas de treinamento do que a concorrência. Em um teste maior com nove tarefas diferentes, o método continuou a superar os outros, mostrando que pode escalar para lidar com desafios mais complexos e diversos. Os autores descobriram que, ao ajustar um "botão" (um parâmetro chamado $\lambda$), eles podiam controlar o quanto o modelo prioriza corrigir suas habilidades mais fracas versus apenas melhorar na média.

Em suma, este artigo sugere que, ao sermos mais espertos sobre quais problemas o robô pratica e garantindo que esses problemas realmente cheguem à sessão de treinamento, podemos construir uma IA que não é apenas boa nas coisas fáceis, mas competentemente confiável em todo o espectro. É um passo em direção à criação de uma IA que não apenas se especializa em um campo estreito, mas que pode verdadeiramente raciocinar através de uma ampla variedade de problemas do mundo real sem deixar nenhuma de suas habilidades para trás.