Imagine um computador aprendendo a jogar um videogame não sendo instruído sobre as regras, mas tentando coisas, cometendo erros e descobrindo lentamente quais movimentos levam a pontos e quais levam ao fracasso. Este é o coração de um campo chamado aprendizagem por reforço profundo (deep reinforcement learning), onde agentes de inteligência artificial aprendem através de tentativa e erro. A maneira mais comum pela qual esses agentes aprendem é construindo um mapa mental de "valor" — um palpite sobre o quão boa é uma situação específica e quanta recompensa ela pode trazer no futuro. O computador atualiza esse mapa repetidamente, usando seus palpites atuais para prever o próximo passo, um processo conhecido como bootstrapping. Embora este método tenha permitido que máquinas dominassem jogos complexos, ele possui uma falha notória: o processo de aprendizagem é frequentemente instável. Os palpites do agente podem sair de controle, fazendo com que ele esqueça o que aprendeu ou tome decisões erráticas, muito parecido com um aluno que fica tão entusiasmado com uma nova ideia que deixa de ouvir o professor.

Por anos, cientistas tentaram corrigir essa instabilidade culpando culpados específicos, como o fato de o computador ser excessivamente otimista sobre suas chances de vencer. No entanto, um novo estudo sugere que o problema não é apenas um único mau ator, mas um ciclo complexo e autorreforçável envolvendo três partes diferentes do sistema de aprendizagem trabalhando umas contra as outras. Os pesquisadores, liderados por uma equipe da Universidade de Pequim, descobriram que a instabilidade surge de como o computador constrói suas previsões futuras, como ele interpreta dados ruidosos ao tomar decisões e como sua estrutura de memória interna muda ao longo do tempo. Ao compreender essas três forças interativas, eles desenvolveram um novo método para estabilizar o processo de aprendizagem, permitindo que a IA aprenda de forma mais rápida e confiável em ambientes onde os dados são escassos.

Os pesquisadores começaram olhando de perto para como o computador constrói suas previsões. Em uma configuração padrão, a IA observa uma situação, escolhe o melhor movimento que acredita poder fazer e usa a recompensa desse movimento para atualizar seu mapa. A equipe descobriu que, quando a IA recebe uma recompensa positiva, um estranho ciclo de feedback pode ocorrer. Como a representação interna do mundo pelo computador é compartilhada entre diferentes ações, uma recompensa para um movimento específico pode acidentalmente inflar o valor desse mesmo movimento na situação seguinte. Quando o computador olha adiante para decidir o que fazer a seguir, ele vê esse valor inflado e escolhe esse mesmo movimento novamente. Isso cria um ciclo onde o computador continua escolhendo a mesma ação repetidamente, convencido de que é a melhor escolha, mesmo que não seja. Os pesquisadores chamam isso de "armadilha de autorreforço", um mecanismo onde a IA fica presa em um loop de sua própria criação, amplificando seus próprios vieses até que o processo de aprendizagem colapse.

A segunda fonte de problemas reside em como o computador toma decisões quando seus dados são imperfeitos. A aprendizagem é um processo ruidoso; as estimativas de valor do computador nunca são perfeitamente precisas. Quando a diferença entre o melhor movimento e o segundo melhor é pequena, até mesmo um pouco de ruído pode fazer o computador mudar sua escolha. Como as escolhas do computador determinam quais dados ele coleta a seguir, uma única decisão errada baseada no ruído pode levá-lo por um caminho de experiências ruins. Isso cria um desvio nos dados que o computador vê, tornando mais difícil aprender o verdadeiro valor das ações. Os pesquisadores perceberam que essa sensibilidade ao ruído significa que o computador precisa de uma maneira de ser mais confiante em suas estimativas, garantindo que pequenas flutuações nos dados não o façam oscilar drasticamente entre diferentes estratégias.

O terceiro problema é mais sutil e acontece profundamente dentro do cérebro do computador, que é feito de camadas de conexões matemáticas chamadas parâmetros. À medida que o computador treina, especialmente quando é forçado a reutilizar os mesmos dados antigos muitas vezes para aprender com eficiência, essas conexões começam a mudar de forma desequilibrada. Um pequeno número de conexões cresce de forma extremamente grande e dominante, enquanto o restante da rede permanece relativamente pequeno e inativo. Os pesquisadores introduziram uma maneira de medir esse desequilíbrio, que eles chamam de "razão de pico" (spike ratio), e descobriram que, à medida que o computador reutiliza dados de forma mais agressiva, esses picos tornam-se mais pronunciados. Esse desequilíbrio é perigoso porque torna a rede rígida; ela perde a capacidade de se adaptar a novas situações porque sua estrutura interna tornou-se demasiado especializada nos dados antigos que viu muitas vezes.

Para resolver esses problemas, a equipe projetou um novo framework de aprendizagem que atua como um conjunto de freios e estabilizadores para a IA. Primeiro, para quebrar a armadilha de autorreforço, eles mudaram a forma como o computador seleciona seu próximo movimento. Em vez de deixar a mesma parte da rede decidir o movimento e avaliar seu valor, eles dividiram essas tarefas entre diferentes versões da rede. Além disso, adicionaram uma regra que impede o computador de escolher imediatamente a mesma ação que acabou de lhe dar uma recompensa, forçando-o a explorar outras possibilidades e quebrando o ciclo de amplificação.

Segundo, para lidar com o ruído na tomada de decisões, a equipe utilizou uma técnica chamada aprendizagem de conjunto (ensemble learning). Em vez de depender de um único cérebro de computador para fazer um palpite, eles treinaram um grupo de redes ligeiramente diferentes e pediram que votassem no valor de cada ação. Ao tirar a média das opiniões de muitas redes diferentes, o ruído aleatório em qualquer uma delas é cancelado, levando a uma decisão muito mais estável e confiável. Esta abordagem também utiliza um método de regressão quantílica, que permite ao computador entender a gama completa de resultados possíveis, em vez de apenas um número médio único, reduzindo ainda mais o risco de ser enganado por valores atípicos (outliers).

Finalmente, para evitar que a rede se torne rígida, os pesquisadores adicionaram um sistema de monitoramento que observa a "razão de pico" das conexões. Se detectarem que um pequeno grupo de conexões está crescendo demais e dominando a rede, eles resetam suavemente essas conexões específicas para um estado neutro. Isso funciona como uma atualização periódica, limpando os ramos excessivamente crescidos da memória da rede para que ela possa permanecer flexível e pronta para aprender novos padrões. Isso garante que, mesmo quando o computador é forçado a reutilizar dados intensamente, ele não perca sua capacidade de adaptação.

A equipe testou essa nova abordagem em dois ambientes desafiadores. O primeiro foi um conjunto de videogames clássicos onde o computador pôde jogar apenas 100.000 passos, uma quantidade de dados muito limitada comparada ao que outros métodos geralmente exigem. Nesses testes, o método deles superou muitas técnicas existentes, alcançando pontuações mais altas e atingindo o desempenho de nível humano em mais jogos do que qualquer outro método testado. O segundo teste envolveu um conjunto de jogos gerados proceduralmente, onde os níveis são criados aleatoriamente e mudam a cada vez. Aqui, o objetivo era ver se o computador conseguia generalizar o que aprendeu para níveis completamente novos que ele nunca vira antes. O novo método mostrou uma capacidade superior de adaptação a esses desafios inéditos, sugerindo que a estabilidade que ele proporciona ajuda o computador a construir uma compreensão mais robusta do mundo.

Os pesquisadores também realizaram experimentos específicos para provar que suas ideias estavam realmente funcionando. Eles mostraram que, quando removiam a regra que impedia o computador de selecionar novamente a mesma ação recompensada, a aprendizagem tornava-se instável em jogos com recompensas frequentes. Demonstraram que o uso de um grupo maior de redes melhorava consistentemente o desempenho, confirmando que reduzir o ruído através da votação é crucial. Eles também rastrearam a "razão de pico" durante o treinamento e mostraram que, sem o mecanismo de reset, o equilíbrio interno da rede se deterioraria, especialmente quando os dados eram reutilizados pesadamente. Essas descobertas confirmam que a instabilidade no aprendimento profundo não é apenas um problema único a ser corrigido com um truque, mas um problema sistêmico que requer uma abordagem coordenada de como as previsões são feitas, como as decisões são ponderadas e como a estrutura da rede é mantida.

Este trabalho oferece uma visão mais clara de por que os agentes de deep learning às vezes falham e fornece um conjunto de ferramentas práticas para mantê-los no caminho certo. Ao reconhecer que a instabilidade provém da interação entre o viés de previsão, o ruído de decisão e a rigidez estrutural, os pesquisadores foram além de correções simples para uma solução mais holística. Seu método não torna apenas a IA mais inteligente; torna o próprio processo de aprendizagem mais confiável, garantindo que o agente possa continuar aprendendo efetivamente mesmo quando os dados são escassos ou o ambiente é caótico. À medida que a inteligência artificial continua a transitar de jogar jogos para resolver problemas do mundo real na robótica e além, a capacidade de estabilizar essas dinâmicas de aprendizagem será essencial para construir sistemas que sejam não apenas poderosos, mas também confiáveis e consistentes.