Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Imagine que você tem um robô muito inteligente que foi treinado para ser o assistente prestativo definitivo. Ele é tão educado e ansioso para agradar que nunca discorda de você, nunca lhe faz perguntas difíceis e apenas concorda com tudo o que você diz, não importa o quão bobo ou triste seja. É assim que a maioria dos chatbots de IA modernos é construída: eles são programados para serem "yes-men" passivos. Mas e se você quisesse um robô que agisse mais como um mentor sábio e levemente teimoso? Um que respondesse com contra-argumentos, perguntasse "Por quê?" em vez de dar respostas, e forçasse você a pensar por si mesmo? Esta é a grande questão que o pesquisador fez. Eles queriam saber se poderiam "reprogramar" esses robôs educados para se tornarem pensadores proativos e questionadores sem quebrar seus cérebros ou precisar de um supercomputador do tamanho de uma cidade. Para fazer isso, eles usaram uma técnica chamada "ajuste fino" (fine-tuning), que é como dar ao robô um curso intensivo muito específico e curto para mudar sua personalidade, e "otimização de preferência", que é como ensinar o robô a escolher o tipo certo de resposta sobre o tipo errado. O objetivo era ver se um robô poderia aprender uma nova personalidade assertiva rapidamente e se essa nova personalidade funcionaria em diferentes idiomas.

A pesquisadora, Lucia Malíˇcková, partiu para testar exatamente o quão "plástica" (ou moldável) essas modelos de IA de pesos abertos realmente são. Eles não apenas ajustaram algumas configurações; eles realizaram um experimento massivo no supercomputador Leonardo, na Eslováquia, usando 50.000 horas de poder computacional para executar 405 tarefas diferentes simultaneamente. Pense nisso como tentar encontrar a receita perfeita para uma nova personalidade assando 405 bolos diferentes, cada um com quantidades ligeiramente diferentes de farinha, açúcar e ovos, para ver qual tem o sabor ideal.

A principal descoberta deles é que você pode, de fato, transformar um robô passivo e bajulador em um robô socrático e proativo, mas apenas se seguir um conjunto muito estrito de regras. Primeiro, você não pode começar com um robô bruto, não treinado; você deve começar com um que já saiba seguir instruções. Tentar ensinar um robô bruto a ser assertivo é como tentar ensinar um bebê a debater filosofia; ele apenas fica confuso e esquece como falar adequadamente. Segundo, a "receita" para a nova personalidade é surpreendentemente pequena. Eles descobriram que usar um ajuste específico e minúsculo chamado LoRA (Low-Rank Adaptation) com um "rank" de 16 funcionou melhor. Se fizessem o ajuste muito grande (rank 32), o robô ficava confuso e memorizava os dados de treinamento perfeitamente demais, falhando em generalizar. Se fosse muito pequeno (rank 8), não conseguia aprender o suficiente. Foi a zona "Goldilocks" (nem muito quente, nem muito frio, mas no ponto certo) de 16 que funcionou.

Talvez a descoberta mais surpreendente tenha sido o quão curto o treinamento precisava ser. A pesquisadora descobriu que o robô aprende essa nova personalidade em uma janela de tempo muito estreita: entre 2 e 3 "épocas" (que são apenas passagens completas pelos dados de treinamento). Se o treinassem por apenas uma época, o robô não aprendia o suficiente. Mas se continuassem por 5, 7 ou 10 épocas, o robô começava a sofrer "overfitting" (sobreajuste). Imagine um aluno que estuda para uma prova por tempo demais; ele para de entender os conceitos e começa apenas a memorizar as perguntas e respostas exatas, falhando em aplicar o conhecimento a novas situações. O robô fez o mesmo: após 3 épocas, ele parou de ser um bom pensador e começou apenas a repetir os dados de treinamento, perdendo sua capacidade de lidar com novas conversas.

Eles também testaram se essa personalidade "socrática" poderia saltar entre idiomas. Eles treinaram o robô usando dados em eslovaco e depois fizeram perguntas em inglês, espanhol, alemão e outros. Os resultados foram mistos. O robô era ótimo em ser curto e direto em todos os idiomas, mas sua capacidade de fazer as perguntas certas dependia do idioma. Ele foi muito bom em fazer perguntas em espanhol (60% das vezes) e inglês (30% das vezes), mas falhou completamente em fazer perguntas em alemão, português e no próprio eslovaco (0% em alguns testes). Isso sugere que, embora o robô tenha aprendido o hábito de ser breve, a habilidade específica de fazer perguntas profundas não se transferiu perfeitamente para idiomas que são muito diferentes daquele em que foi treinado.

Finalmente, eles usaram uma técnica chamada Otimização de Preferência Direta (DPO) para ensinar o robô a escolher respostas curtas e questionadoras em vez de respostas longas e educadas. Este foi o polimento final que transformou um robô que apenas tentava ser assertivo em um que realmente era assertivo. Antes deste passo, o robô ainda escrevia parágrafos longos e prolixos. Após o DPO, ele aprendeu a reduzir suas respostas para uma média de apenas 3 palavras, muitas vezes terminando com um ponto de interrogação. Por exemplo, em vez de escrever uma longa palestra sobre por que você deve se exercitar, ele simplesmente perguntaria: "Quantos dias?".

No fim, o artigo prova que você pode reprogramar a personalidade de uma IA para ser um treinador proativo e questionador, mas isso requer uma configuração muito específica: comece com um modelo ajustado para instruções, use um tamanho de ajuste pequeno (rank 16), pare o treinamento exatamente entre 2 e 3 épocas e use a otimização de preferência para cortar o excesso. Embora isso funcione maravilhosamente bem para idiomas semelhantes aos dados de treinamento, o robô ainda tem dificuldades para manter essa nova personalidade em idiomas que estão muito distantes de suas raízes de treinamento. A pesquisadora mostrou que, com a matemática certa e um pouco de poder de supercomputação, podemos remodelar o comportamento da IA, mas temos que ter cuidado para não "cozinhar demais" a receita.