Imagine um computador que pode olhar para uma imagem e responder a uma pergunta sobre ela, ou ler um problema matemático escrito em palavras e resolvê-lo. Esses sistemas, conhecidos como modelos de visão-linguagem, estão se tornando cada vez mais capazes, mas ainda cometem erros. Às vezes, eles erram porque não estão pensando cuidadosamente o suficiente; outras vezes, afirmam com confiança coisas que simplesmente não são verdadeiras, um problema chamado alucinação. Para ensinar esses modelos a pensar melhor, pesquisadores usam um método chamado aprendizado por reforço. Nesse processo, o modelo é solicitado a gerar muitas tentativas diferentes de resolver um único problema. Se algumas tentativas forem corretas e outras erradas, o modelo aprende a favorecer o caminho bem-sído. No entanto, para que esse aprendizado funcione, as diferentes tentativas devem ser realmente diferentes umas das outras. Se o modelo apenas repetir o mesmo processo de pensamento repetidamente, ele não aprenderá nada de novo.

O desafio tem sido como forçar o modelo a explorar diferentes maneiras de pensar. Tradicionalmente, pesquisadores tentaram agitar as coisas alterando a temperatura do processo de tomada de decisão do computador ou distorcendo levemente a imagem de entrada, como adicionar estática a uma fotografia. Um novo estudo realizado por pesquisadores da Amazon Web Services sugere que essas mudanças externas podem não ser a maneira mais eficaz de diversificar o pensamento do modelo. Em vez disso, eles propõem que a variação ocorra dentro da própria representação interna do modelo sobre o problema, exatamente no momento em que ele começa a processar a questão. Ao injetar uma pequena quantidade controlada de ruído aleatório no estado mental oculto do modelo antes de começar a gerar uma resposta, eles descobriram que podiam criar um pensador mais robusto e preciso.

Os pesquisadores desenvolveram uma técnica que chamam de Otimização de Política Relativa de Grupo de Contraste de Ruído (Noise-Contrastive Group Relative Policy Optimization). Para entender como funciona, imagine um grupo de alunos todos tentando resolver o mesmo problema de geometria. Em uma sessão de treinamento padrão, cada aluno pode resolver de forma ligeiramente diferente por acaso, mas todos começam com a mesma compreensão exata do problema. Nesta nova abordagem, metade dos alunos recebe um ponto de partida ligeiramente diferente. Os pesquisadores pegam o estado interno do modelo — a maneira como ele codificou o problema em sua "mente" — e adicionam um pequeno solavanco aleatório para metade do grupo. Este solavanco não é uma mudança na imagem em si, nem é uma mudança nas palavras na página. É uma mudança sutil na perspectiva interna do modelo, como pedir a um aluno para olhar para o problema de um ângulo ligeiramente diferente antes de começar a escrever.

O modelo então gera respostas a partir desses dois grupos: um grupo começando de uma compreensão normal e limpa, e o outro começando desta compreensão ruidosa e ligeiramente deslocada. A ideia central está em como o modelo aprende com os resultados. Se o grupo com o ponto de partida ruidoso ainda conseguir encontrar a resposta correta, apesar da confusão introduzida no início, o modelo é recompensado. Se o ruído fizer o modelo perder o rumo e falhar, esse caminho é penalizado. Com o tempo, o modelo aprende a encontrar soluções que são tão sólidas que funcionam mesmo quando o ponto de partida é ligeiramente instável. Ele não está apenas aprendendo a resposta; está aprendendo a ser robusto contra pequenas perturbações em seu próprio processo de pensamento.

Os resultados deste experimento foram impressionantes. Os pesquisadores testaram seu método em um grande modelo de visão-linguagem treinado em problemas de geometria. Quando compararam este novo método com a abordagem padrão e com a técnica mais antiga de distorcer a imagem de entrada, o novo método produziu resultados significamente melhores em problemas matemáticos difíceis e inéditos. O modelo tornou-se melhor em resolver problemas que nunca tinha visto antes, uma capacidade conhecida como raciocínio fora do domínio (out-of-domain reasoning). Talvez de forma mais surpreendente, ele também se tornou melhor em evitar alucinações. Enquanto o método mais antigo de distorcer imagens ajudava o modelo a ver detalhes visuais com mais clareza, às vezes tornava o modelo pior em aderir aos fatos. O novo método, por outro contraste, melhorou tanto o raciocínio quanto a honestidade do modelo ao mesmo tempo.

O estudo também explorou o que exatamente faz essa técnica funcionar. Os pesquisadores testaram se o benefício vinha da direção específica do ruído ou apenas do fato de o ruído ser aleatório. Eles descobriram que a direção não importava. Quer o ruído empurrasse o pensamento do modelo em uma direção ou em outra, o fator crítico era simplesmente que cada tentativa começava de um ponto de vista único e independente. Eles também descobriram que o tamanho do ruído atua como um controle deslizante. Uma pequena quantidade de ruído melhorou o raciocínio do modelo sem prejudicar suas habilidades gerais, mas ruído excessivo começou a degradar seu desempenho geral. Isso sugere que existe um ponto ideal onde o modelo se torna um melhor especialista em raciocínio sem perder seu conhecimento geral.

Uma das descobertas mais importantes foi que este método funciona ao alterar o estado interno do modelo, não ao alterar a imagem ou o texto. Isso significa que a técnica poderia potencialmente ser aplicada a qualquer tipo de modelo que processe informações, não apenas àqueles que olham para imagens. Os pesquisadores mostraram que o método é eficiente, exigindo apenas uma pequena mudança no software que executa o modelo, e não retarda o processo de geração de respostas. Ao focar no momento em que o modelo começa a pensar, em vez de nos dados que ele recebe, eles encontraram uma maneira de tornar o raciocínio do modelo mais confiável e menos propenso a erros.

O estudo também analisou se essa abordagem funciona para modelos de diferentes tamanhos. Quando tentaram a mesma técnica em uma versão menor do modelo, os benefícios desapareceram. O modelo menor não melhorou no raciocínio, nem piorou; ele simplesmente não mudou. Isso sugere que a técnica requer um certo nível de complexidade no modelo para ser eficaz. Não é um truque de mágica que funciona em qualquer computador, mas uma ferramenta específica que ajuda sistemas maiores e mais capazes a refinar seu pensamento. Os pesquisadores observam cautelosamente que, embora os resultados sejam promissores, eles testaram isso apenas em uma família de modelos até agora, e mais trabalho é necessário para ver se funciona para outros.

Em última análise, esta pesquisa oferece uma nova maneira de pensar sobre como treinamos a inteligência artificial. Em vez de tentar tornar os dados de entrada mais variados ou o processo de tomada de decisão mais caótico, os pesquisadores descobriram que uma perturbação interna precisa poderia levar a um resultado mais estável e inteligente. Ao ensinar o modelo a ter sucesso mesmo quando seu ponto de partida está ligeiramente equivocado, eles criaram um sistema que é menos propenso a ser enganado por suas próprias incertezas. Esta abordagem não torna o modelo apenas mais inteligente em matemática; torna o modelo mais confiável, capaz de distinguir entre uma resposta sólida e um palpite confiante. À medida que esses sistemas se integram mais em nossas vidas diárias, encontrar maneiras de torná-los mais robustos e menos propensos a erros é essencial, e este estudo fornece um caminho claro para alcançar esse objetivo.