CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs

Na vasta paisagem da inteligência artificial, pesquisadores tentam constantemente ensinar as máquinas a pensar como os humanos, e não apenas a prever a próxima palavra em uma frase. Uma das formas mais humanas de pensar é chamada de raciocínio abdutivo. Este é o processo mental de observar um conjunto de pistas ou observações e trabalhar de trás para frente para encontrar a explicação mais provável para elas. É como um médico descobre o que há de errado com um paciente com base em alguns sintomas, como um detetive reconstrói um crime a partir de evidências dispersas ou como um engenheiro diagnostica uma máquina que parou de funcionar subitamente. Por muito tempo, cientistas lutaram para fazer com que grandes modelos de linguagem fizessem isso bem. Embora esses modelos sejam excelentes em recordar fatos ou seguir regras lógicas estritas, eles frequentemente tropeçam quando solicitados a inferir causas ocultas a partir de informações incompletas. Eles tendem a adivinhar a resposta certa pelos motivos errados, ou inventam fatos que parecem plausíveis, mas que não se ajustam de fato à evidência fornecida.

Uma equipe de pesquisadores da Universidade de Tecnologia de Sharif e da Universidade de Teerã decidiu resolver esse problema. Eles queriam saber se poderiam treinar esses modelos de IA para se tornarem melhores no raciocínio abdutivo de uma forma que os ajudasse a resolver novos problemas não vistos, em vez de apenas memorizar os quebra-cabeças específicos nos quais foram treinados. Eles desenvolveram um novo método de treinamento chamado CEDAR-GRPO. Em vez de simplesmente recompensar o modelo por acertar a resposta final, eles projetaram um sistema que também recompensa o modelo por como ele chegou lá. O sistema verifica duas coisas específicas sobre o processo de pensamento do modelo: primeiro, se o modelo realmente observou e explicou cada detalhe da evidência fornecida e, segundo, se o modelo moveu seu raciocínio na direção correta, partindo das observações e construindo em direção a uma conclusão, em vez de começar com uma conclusão e tentar forçar a evidência a se ajustar a ela.

Para testar isso, os pesquisadores pegaram quatro modelos de linguagem de código aberto diferentes e os treinaram em um conjunto cuidadosamente misto de tarefas. Essas tarefas incluíam desde escolher a melhor explicação para um conto curto até escrever um código que explica um padrão em dados. Crucialmente, eles não apenas mostraram as respostas aos modelos; eles usaram uma técnica de aprendizado por reforço que atuava como um treinador, dando feedback aos modelos sobre seus passos de raciocínio. Os modelos aprenderam que uma resposta correta não era suficiente se tivessem ignorado um detalhe fundamental ou se sua lógica estivesse invertida. Após esse treinamento, os pesquisadores testaram os modelos em onze tarefas completamente diferentes que eles nunca tinham visto antes. Essas novas tarefas variavam desde o diagnóstico de condições médicas e depuração de código de computador até a resolução de mistérios complexos e a compreensão de histórias longas e complicadas.

Os resultados mostraram uma melhoria clara em todos os níveis. Os modelos treinados com o novo método superaram tanto suas versões originais quanto modelos que foram treinados apenas para acertar a resposta final. Em média, o novo método melhorou o desempenho em 7,4 pontos percentuais sobre os modelos originais e em 2,7 pontos sobre os modelos treinados apenas para a correção. Em alguns casos específicos, a melhoria foi de até 30,8 pontos. Mais importante ainda, os pesquisadores analisaram o texto real que os modelos escreveram enquanto pensavam. Eles descobriram que os modelos treinados estavam se comportando mais como investigadores cuidadosos. Eles estavam mais propensos a explorar diferentes possibilidades antes de se estabelecerem em uma resposta, a excluir explicitamente ideias erradas e a admitir quando estavam incertos. Eles também mostraram um hábito muito mais forte de ligar suas conclusões diretamente aos fatos específicos que lhes foram dados, em vez de depender de suposições vagas.

O estudo também descartou várias explicações alternativas para este sucesso. Os pesquisadores provaram que a melhoria não veio simplesmente dos modelos verem mais exemplos ou de um aumento geral na capacidade de raciocínio. Quando treinaram os modelos em uma quantidade semelhante de dados de raciocínio geral que não focavam em tarefas abdutivas, os modelos não mostraram o mesmo nível de melhoria nos testes específicos. Isso sugere que a forma específica como os modelos foram recompensados por seu processo de raciocínio foi o fator determinante. Os achados indicam que o raciocínio abdutivo pode ser fortalecido como uma habilidade geral que se transfere entre diferentes campos, em vez de ser um truque estreito que só funciona em tipos específicos de quebra-cabeças. Ao ensinar os modelos a respeitar a evidência e seguir um caminho lógico da observação para a explicação, os pesquisadores deram um passo significativo em direção à criação de uma inteligência artificial que possa verdadeiramente compreender e explicar o mundo ao seu redor.