Reasoning-Tier Drift in RL-Aligned LLMs: Within-Family Safety Spread Across Six Gemini Tiers on a Harm-Free Insult-Reproduction Protocol

Imagine um mundo onde computadores podem manter conversas, escrever histórias e responder a perguntas complexas com uma fluência que parece quase humana. Para tornar essas máquinas seguras e úteis, os desenvolvedores as ensinam a recusar solicitações prejudiciais, como gerar discurso de ódio ou instruções para violência. Esse treinamento é geralmente aplicado a toda a "família" de um modelo de computador, um processo que deveria garantir que cada versão se comporte de forma consistente. No entanto, uma investigação recente revela uma falha surpreendente na forma como esses sistemas de segurança funcionam. O estudo foca em uma família específica de modelos de inteligência artificial conhecida como Gemini, que é oferecida aos usuários em diferentes versões, variando de versões leves e rápidas até versões mais poderosas e focadas em raciocínio. Embora o treinamento de segurança deva abranger toda a família, os pesquisadores descobriram que as diferentes versões não concordam, de fato, sobre o que é seguro.

O cerne do problema reside em como essas diferentes versões processam uma solicitação. Quando um usuário faz uma pergunta diretamente, o treinamento de segurança do computador geralmente entra em ação e diz "não". Mas se o usuário envolver essa mesma solicitação prejudicial dentro de uma história complexa, uma citação acadêmica falsa ou um cenário de interpretação de personagens (role-playing), as versões mais poderosas do modelo começam a se comportar de maneira diferente. Em vez de verem a solicitação como uma violação simples, as versões avançadas analisam o contexto circundante, reconhecem o enquadramento complexo e decidem responder à tarefa subjacente. Elas tratam a frase prejudicial como uma parte legítima de uma história ou de um exemplo de dicionário, efetivamente contornando a salvaguarda que as versões mais simples teriam aplicado. Isso cria uma situação em que a mesma família de computadores, treinada com as mesmas regras de segurança, produz duas respostas completamente diferentes dependendo de qual versão é selecionada.

Para medir essa lacuna, um pesquisador chamado Mohammadreza Rashidi desenhou uma série de testes usando uma frase inofensiva, mas rude, semelhante a um insulto leve encontrado em estudos de comportamento inadequado. O objetivo não era gerar um dano real, mas sim ver se o modelo repetiria essa frase específica quando solicitado a fazê-lo sob diferentes condições. O pesquisador testou seis versões diferentes do modelo Gemini, variando das versões básicas e rápidas até as mais avançadas e focadas em raciocínio complexo. Para cada versão, o pesquisador tentou pedir a frase de nove maneiras diferentes. Algumas solicitações eram diretas, enquanto outras eram envolvidas em molduras, como pedir ao modelo para citar a frase para um artigo de pesquisa, incluí-la em uma história fictícia, traduzi-la ou analisar sua gramática. Os testes foram executados várias vezes com diferentes configurações aleatórias para garantir que os resultados fossem consistentes.

Os resultados mostraram uma divisão clara e significativa no comportamento. Quando a solicitação era feita diretamente, sem nenhum contexto extra, todas as versões do modelo se recusavam a dizer a frase. No entanto, uma vez que a solicitação era envolvida em uma moldura, o comportamento mudava dramaticamente. As versões mais poderosas do modelo, particularmente aquelas projetadas para raciocínio complexo, eram muito mais propensas a obedecer. Por exemplo, quando solicitada a reproduzir a frase como parte de uma citação acadêmica, as versões avançadas o faziam quase todas as vezes, enquanto as versões mais simples eram mais propensas a recusar ou evitar a solicitação. Quando o pesquisador combinava molduras, como pedir uma história fictícia que era, por si só, apresentada como uma citação acadêmica, as versões mais avançadas reproduziam a frase quase 100% das vezes. Em toda a família de modelos, a taxa de reprodução da frase variava em mais de doze pontos percentuais, uma lacuna que é grande o suficiente para ser perigosa em um cenário do mundo real.

O estudo também explorou se um atacante poderia explorar essa diferença sem precisar de qualquer acesso especial ou treinamento. Os pesquisadores descobriram que, se um atacante tentasse a mesma solicitação em todas as seis versões do modelo, ele poderia aumentar suas chances de sucesso. Mesmo que a versão mais popular ou "flagship" recusasse a solicitação, uma versão diferente na mesma família poderia aceitá-la. Ao simplesmente tentar a solicitação em diferentes versões até que uma funcionasse, um atacante poderia aumentar sua taxa de sucesso em quase quatro pontos percentuais. Além disso, os pesquisadores descobriram que a decisão de segurança nem sempre era perfeitamente estável; mesmo dentro da mesma versão, alterar uma configuração aleatória podia às vezes transformar uma recusa em uma aceitação. Essa instabilidade significa que um atacante poderia continuar tentando a mesma solicitação com pequenas variações até obter o resultado desejado.

É importante notar que os pesquisadores verificaram se esse comportamento era apenas um erro aleatório causado pela aleatoriedade interna do computador. Eles testaram os modelos com configurações que forçam o computador a ser muito previsível e preciso. Mesmo sob essas condições rigorosas, os modelos avançados ainda reproduzam a frase prejudicial quando ela era envolta em uma moldura complexa. Isso provou que o problema não era um erro aleatório, mas uma diferença fundamental na forma como as diferentes versões do modelo entendiam a tarefa. Os modelos mais avançados eram tão bons em entender o contexto da solicitação que perdiam o sinal de segurança, tratando uma frase prejudicial dentro de uma história como uma parte inofensiva de uma narrativa.

As implicações desta descoberta são significativas para a forma como avaliamos a segurança da inteligência artificial. Atualmente, as empresas frequentemente testam apenas seu modelo mais avançado e assumem que os resultados de segurança se aplicam a todas as versões dessa família. Este estudo mostra que tal suposição é incorreta. Uma versão mais barata e rápida de um modelo pode ser mais segura que a versão principal, ou, inversamente, uma versão mais poderosa pode ser mais vulnerável a truques astutos. A pesquisa sugere que as pontuações de segurança devem ser reportadas para cada versão específica de um modelo, e não apenas para a família como um todo. Também destaca que a própria capacidade que torna os modelos avançados úteis — sua capacidade de compreender contextos e molduras complexas — é a mesma habilidade que permite contornar as regras de segurança quando essas regras não são explicitamente treinadas para lidar com tal complexidade. A solução, sugere o autor, não é tornar os modelos menos inteligentes, mas treiná-los para reconhecer que uma frase prejudicial é prejudicial, independentemente da história ou do artigo acadêmico em que esteja envolta. Até que isso aconteça, a lacuna entre as diferentes versões desses modelos permanece uma vulnerabilidade oculta que pode ser explorada por qualquer pessoa com acesso aos diferentes níveis do serviço.