Open Technical Problems in Open-Weight AI Model Risk Management

Imagine o mundo da inteligência artificial como uma biblioteca imensa e movimentada. Durante muito tempo, os livros mais poderosos desta biblioteca eram mantidos atrás de vitrines de vidro, trancados por algumas gigantes corporações. Você podia lê-los, mas não podia levá-los para casa e, certamente, não podia arrancar páginas ou reescrever os capítulos. Estes são os modelos de "pesos fechados". Mas recentemente, uma nova tendência explodiu: os modelos de "pesos abertos". Estes são como cópias digitais dos livros mais poderosos da biblioteca que qualquer pessoa pode baixar, levar para casa e guardar para sempre. O melhor de tudo? Você pode fotocopiá-los, colá-los ou até mesmo reescrever o texto para fazê-los fazer coisas novas. Isso é incrivelmente emocionante para pesquisadores e inventores que desejam construir ferramentas incríveis.

No entanto, há um porém. Quando você dá a todos uma cópia de um livro e permite que eles o reescrevam, você perde o controle. Se alguém escrever uma história perigosa em sua versão, não poderá ser impedido de compartilhá-la com o mundo inteiro. Ao contrário dos livros trancados, você não pode simplesmente ligar para o bibliotecário para pegar a versão perigosa de volta; uma vez que saiu, já era. Este artigo, escrito por uma enorme equipe de especialistas de universidades e organizações de segurança, faz uma pergunta crítica: Como mantemos esta biblioteca aberta segura quando qualquer pessoa pode alterar os livros? Eles não estão tentando trancar a biblioteca novamente; em vez disso, estão tentando inventar novos tipos de "tinta mágica" e "seguranças" que permaneçam seguros mesmo quando o livro está sendo reescrito. Eles querem descobrir como construir uma IA que seja aberta para o uso de todos e, ao mesmo tempo, resistente a ser transformada em uma arma.

O Grande Problema: A Máquina de Cópias Imparável

Os autores explicam que os modelos de IA de pesos abertos estão se tornando incrivelmente poderosos, às vezes apenas 6 a 12 meses atrás dos modelos super secretos mantidos por grandes empresas. O problema é que, enquanto os modelos fechados podem ser corrigidos ou retirados se começarem a agir de forma estranha, os modelos abertos são como vírus digitais. Uma vez que alguém os baixa, eles podem ser modificados, compartilhados e espalhados para sempre.

Pense em um modelo fechado como um aplicativo de smartphone. Se o aplicativo tiver um erro que permita que hackers roubem suas fotos, a empresa pode lançar uma atualização para corrigir o erro ou até mesmo remover o aplicativo da loja. Mas um modelo de pesos abertos é como uma receita de bolo. Se você encontrar um ingrediente perigoso na receita, não pode impedir as pessoas que já têm a receita de assar o bolo. Pior ainda, alguém pode pegar essa receita, adicionar um ingrediente "venenoso" (como uma instrução oculta para ferir pessoas) e compartilhar a nova e perigosa receita com milhões de outras pessoas. O padeiro original não tem como impedir isso.

O artigo destaca que as ferramentas de segurança atuais, como filtros que bloqueiam palavras ruins, são inúteis contra modelos abertos. Por quê? Porque se você tem a receita (o código do modelo), pode simplesmente apagar o filtro. É como tentar impedir que alguém asse um bolo colocando uma placa de "Não Coma" no balcão da cozinha; se eles têm a cozinha inteira, podem simplesmente ignorar a placa.

Os 16 Desafios: Um Kit de Ferramentas para o Velho Oeste

O artigo não apenas aponta o problema; ele estabelece 16 desafios técnicos específicos que os cientistas precisam resolver para tornar a IA aberta segura. Eles os organizam em cinco categorias principais, como diferentes estações em uma fábrica que constrói esses modelos de IA.

1. Os Ingredientes (Curadoria de Dados de Treinamento)
Antes de uma IA aprender, ela consome uma quantidade massiva de dados, como um estudante lendo milhões de livros. O primeiro desafio é: Como garantimos que o estudante nunca leia os livros ruins?
Os autores sugerem que, se filtrarmos informações perigosas (como instruções sobre como construir bombas ou criar imagens ilegais) antes que a IA comece a aprender, a IA talvez nunca aprenda esses truques ruins em primeiro lugar. É como ensinar uma criança a ser gentil dando a ela apenas livros sobre gentileza, em vez de tentar ensiná-la a ser gentil depois que ela já aprendeu a ser má. No entanto, o artigo observa que isso é complicado. Às vezes, remover um tópico específico pode acidentalmente tornar a IA pior em outra coisa, ou a IA ainda pode descobrir as coisas ruins através de pistas que parecem inocentes.

2. A Armadura Inquebrável (Treinamento à Prova de Violação)
Mesmo que comecemos com uma IA segura, alguém pode tentar o "ajuste fino" (fine-tuning) — ensinar a ela novos truques ruins mais tarde. O segundo desafio é: Como construímos uma IA que se recuse a aprender truques ruins, mesmo quando alguém tenta forçá-la?
Imagine tentar ensinar um cachorro a morder, mas o cachorro é tão bem treinado que fisicamente não consegue aprender o comando. O artigo diz que os métodos atuais são fracos. Se alguém tentar treinar novamente uma IA segura para ser perigosa, geralmente consegue fazê-lo em apenas algumas centenas de passos. Os autores querem encontrar maneiras de tornar a IA "imune" a isso, para que, mesmo que alguém tente hackeá-la, a IA permaneça segura. Eles também exploram o "desaprendizado" (unlearning) — uma forma de fazer a IA esquecer coisas ruins específicas que ela possa ter aprendido, mas os métodos atuais são facilmente revertidos.

3. O Teste de Estresse (Avaliações de Violação de Modelo)
Antes de lançarmos uma nova IA, precisamos testá-la. O terceiro desafio é: Como testamos uma IA para ver se ela pode ser quebrada por alguém tentando hackeá-la?
Atualmente, a maioria dos testes apenas faz perguntas normais à IA. Os autores dizem que precisamos contratar "red teams" — grupos de hackers cujo trabalho é tentar quebrar a IA, ajustando-a de todas as formas possíveis. Queremos saber: Quantos passos são necessários para transformar uma IA útil em uma IA prejudicial? Quanto isso custa? O artigo constata que ainda não temos bons testes para isso. Precisamos saber exatamente quão fácil é quebrar esses modelos para que possamos corrigi-los antes de serem lançados.

4. O Lançamento Gradual (Implantação em Estágios)
Em vez de lançar uma nova IA para o mundo de uma só vez, o quarto desafio é: Podemos lançá-la em etapas para observar o que acontece?
Imagine um novo videogame. Em vez de deixar todos jogarem imediatamente, os desenvolvedores deixam um pequeno grupo de testadores jogar primeiro. Se eles encontrarem um erro, eles o corrigem antes que o mundo inteiro o receba. Os autores sugerem fazer isso com a IA. Poderíamos deixar alguns pesquisadores de confiança usar o modelo primeiro, observar como eles o utilizam e só então abri-lo para todos, uma vez que estejamos seguros de que é seguro. Eles também exploram truques técnicos como a "implantação dividida", onde parte da IA roda no seu computador e parte roda em um servidor seguro, tornando mais difícil para alguém roubar o todo.

5. O Trabalho de Detetive (Proveniência e Forense de Modelos)
Finalmente, uma vez que a IA esteja no mundo, o quinto desafio é: Como sabemos de onde veio um modelo de IA específico e quais mudanças foram feitas nele?
Se você encontrar um modelo de IA perigoso na internet, como saber quem o fez? Os autores sugerem o uso de "marcas d'água" — impressões digitais digitais invisíveis inseridas no código do modelo. Se alguém tentar alterar o modelo, a impressão digital deve continuar lá, ou pelo menos devemos ser capazes de rastrear a árvore genealógica do modelo para ver quem o modificou. Isso ajuda os pesquisadores a rastrear como os modelos perigosos estão se espalhando e quem é o responsável.

O Que o Artigo Descobriu (e o Que Não Descobriu)

Os autores analisaram os relatórios técnicos dos 10 modelos de IA abertos mais populares lançados em 2025, bem como vários geradores famosos de imagem e vídeo. Eles encontraram uma lacuna preocupante.

• Limpeza de Dados: A maioria das empresas falou um pouco sobre a limpeza de seus dados (remover coisas ruins antes do treinamento). Algumas deram um parágrafo, algumas deram uma seção inteira, mas muitas não disseram muito.
• As Peças Faltantes: Quase ninguém falou sobre tornar seus modelos resistentes à violação. Nenhum dos principais modelos mencionou algoritmos de "desaprendizado" ou treinamento "à prova de violação". Apenas um modelo (gpt-oss) tinha um artigo dedicado sobre o quão difícil era quebrar seu modelo.
• O Silêncio: Quase não houve menção a "implantação em estágios" ou "proveniência" (rastrear o histórico do modelo) nos relatórios dos maiores modelos.

O artigo sugere que esse silêncio significa uma de três coisas: ou essas técnicas de segurança ainda não estão sendo usadas, ou estão sendo usadas mas não são discutidas, ou simplesmente ainda não funcionam bem o suficiente. Os autores argumentam que precisamos parar de apenas lançar modelos e começar a construir uma ciência rigorosa sobre como mantê-los seguros.

A Conclusão

Este artigo é um chamado à ação. Ele diz que, embora a IA aberta seja incrível e traga enormes benefícios, estamos atualmente voando às cegas no que diz respeito a mantê-la segura contra agentes mal-intencionados. Não podemos apenas confiar que as empresas serão boas; precisamos inventar novas ferramentas matemáticas que tornem a própria IA difícil de ser quebrada.

Os autores são esperançosos, mas realistas. Eles não afirmam ter resolvido o problema. Em vez disso, mapearam o território, mostrando-nos exatamente onde estão os buracos em nossa armadura. Eles sugerem que o futuro de uma IA segura depende da abertura — não apenas compartilhar o código, mas compartilhar a pesquisa, os métodos e as falhas. Se pudermos todos trabalhar juntos para construir essas novas defesas, poderemos manter a biblioteca aberta e segura para todos. Mas, se não o fizermos, as versões perigosas desses modelos podem se espalhar mais rápido do que conseguiremos interrompê-las.