Resumo Técnico: O Aprendizado de Máquina Adversário para LLMs Não Está Progredindo

Declaração do Problema

O artigo argumenta que o campo do Aprendizado de Máquina Adversário (Adversarial ML) regrediu em sua capacidade de realizar progressos mensuráveis desde que mudou o foco de modelos de classificação simples e bem definidos para Grandes Modelos de Linguagem (LLMs). Enquanto o Adversarial ML inicial focava em problemas "brinquedo" (toy problems) com objetivos claros (ex: classificar incorretamente uma imagem sob perturbações de pixels limitadas), a era atual dos LLMs apresenta problemas que são fundamentalmente menos claramente definidos, mais difíceis de resolver e mais desafiadores de avaliar.

Os autores sustentam que a transição para modelos generativos de uso geral removeu o rigor matemático e experimental que anteriormente permitia a comparação de ataques e defesas. Consequentemente, o campo corre o risco de passar outra década produzindo trabalhos que falham em gerar progresso científico significativo, reproduzível ou garantias de segurança robustas.

Metodologia

Este artigo é um artigo de posicionamento (position paper) em vez de um estudo empírico com novos resultados experimentais. A metodologia dos autores envolve uma análise crítica do estado atual do campo através de:

1. Análise Conceitual: Desconstrução da evolução dos problemas adversários da classificação para os modelos generativos, identificando mudanças estruturais específicas na definição do problema, espaços de solução e métricas de avaliação.
2. Estudos de Caso: Exame sistemático de seis áreas de pesquisa específicas para ilustrar como a mudança para LLMs exacerba as dificuldades:
   • Jailbreaks (Quebra de restrições)
   • Modelos não ajustáveis (Un-finetunable Models)
   • Envenenamento e Backdoors (Poisoning and Backdoors)
   • Injeções de Prompt (Prompt Injections)
   • Inferência de Membros (Membership Inference)
   • Desaprendizado de Máquina (Machine Unlearning)
3. Síntese de Contra-argumentos: Abordagem de visões alternativas que sugerem que o campo está progredindo ou que o aumento da complexidade é um passo necessário para resolver problemas do mundo real.

Principais Contribuições e Descobertas

1. Os Problemas são Mais Difíceis de Definir

Os autores identificam três dimensões principais onde a definição se tornou ambígua:

• Definindo o Sucesso: Ao contrário da classificação (onde o sucesso é uma taxa de classificação incorreta), a segurança de LLMs envolve objetivos qualitativos e subjetivos (ex: "inofensividade", "utilidade"). As métricas de sucesso frequentemente dependem de sistemas de "LLM-como-juiz" (LLM-as-a-judge), que introduzem circularidade, viés e vulnerabilidade aos próprios ataques que estão medindo.
• Limitando o Espaço de Ataque: A robustez tradicional baseava-se em espaços de entrada limitados (ex: normas $\ell_p$). Para LLMs, o espaço de ataque é efetivamente ilimitado (qualquer entrada de texto), e os modelos de ameaça se expandiram para incluir a modificação do modelo (ajuste fino, poda) em vez de apenas a perturbação da entrada. Não há consenso sobre o que constitui um prompt adversário "válido" ou "novo".
• Delimitando Dados: O conceito de um conjunto de treinamento distinto e um conjunto de teste reservado dissolveu-se. Os LLMs são treinados em vastos corpora da internet que se sobrepõem, onde as fronteiras entre dados de treinamento e de teste, e entre pontos de dados individuais, são borradas. Isso torna conceitos como "pertencimento" ou "desaprendizado" de pontos de dados específicos mal definidos.

2. Os Problemas são Mais Difíceis de Resolver

• Otimização Ineficaz: A otimização baseada em gradiente, que impulsionou o progresso na classificação de imagens, é amplamente ineficaz para LLMs devido às entradas de texto discretas e à falta de uma função de perda formal para segurança.
• Dependência de Esforço Humano: Como a otimização automatizada tem dificuldade, os ataques mais fortes contra LLMs são agora frequentemente impulsionados por humanos (ex: engenharia social, modulação de persona), em vez de algorítmicos. Isso impede a descoberta sistemática de cenários de pior caso.
• Falta de Defesas Principadas: Sem objetivos formais ou espaços de ataque delimitados, as defesas são amplamente ad-hoc (ex: filtragem de saída, treinamento adversário virtual). Essas defesas não podem ser formalmente analisadas ou certificadas, levando a avaliações que frequentemente superestimam a robustez.

3. Os Problemas são Mais Difíceis de Avaliar

• Crise de Reprodutibilidade: Muitos LLMs de última geração são de código fechado, atualizados silenciosamente e implantados via APIs. Essa falta de transparência torna impossível reproduzir resultados, comparar diferentes abordagens de forma justa ou acompanhar o progresso ao longo do tempo.
• Avaliação de Utilidade: Defesas que impedem saídas prejudiciais frequentemente degradam a utilidade geral do modelo (ex: recusar todos os pedidos). Medir o equilíbrio entre segurança e utilidade é subjetivo e dependente de contexto, carecendo das métricas padronizadas (como acurácia) usadas no aprendizado de máquina tradicional.

4. Insights dos Estudos de Caso

O artigo detalha como esses desafios se manifestam em domínios específicos:

• Jailbreaks: O sucesso é definido por conteúdo "prejudicial", o que carece de uma definição formal. A otimização é difícil, levando à dependência de engenharia de prompt manual.
• Modelos não Ajustáveis: O modelo de ameaça agora inclui atacantes que podem modificar os pesos do modelo, expandindo o espaço de busca de gradientes de entrada para gradientes de parâmetros (ordens de magnitude maiores).
• Envenenamento/Backdoors: O treinamento em múltiplas etapas dos LLMs (pré-treinamento + ajuste fino) e a escala dos dados tornam computacionalmente inviável retreinar modelos do zero para estabelecer linhas de base limpas para avaliação.
• Injeções de Prompt: Avaliar estes requer ambientes de agentes realistas com uso de ferramentas, que são caros para simular e frequentemente dependem de juízes LLM, reintroduzindo o viés de avaliação.
• Inferência de Membro e Desaprendizado: A falta de limites claros de dados e a impossibilidade de criar modelos contrafatuais (retreinar sem um ponto específico) torna impossível provar rigorosamente que um dado foi "esquecido" ou que uma amostra fez parte do treinamento.

Resultados e Alegações

O artigo não apresenta novos dados experimentais, mas sintetiza a literatura existente para apoiar as seguintes alegações:

• Estagnação: O campo está falhando em produzir progresso significativo porque os problemas não são mais problemas "brinquedo" com frameworks rigorosos.
• Falha de Avaliação: Métodos de avaliação atuais (juízes LLM, benchmarks ad-hoc) são insuficientes para rastrear o progresso ou comparar defesas de forma confiável.
• A Falácia do "Mundo Real": Embora alguns argumentem que estudar problemas do mundo real e ilimitados é necessário, os autores argumentam que, sem subproblemas formais para ancorar a investigação científica, o campo não consegue distinguir entre melhorias reais de segurança e artefatos de uma avaliação opaca.
• Risco de Obscuridade: A tendência para sistemas de defesa complexos e opacos (segurança através da obscuridade) pode fornecer segurança de curto prazo, mas dificulta a compreensão científica necessária para a robustez de longo prazo.

Significância

O artigo serve como um posicionamento de cautela para a comunidade de Aprendizado de Máquina Adversário. Sua significância reside em:

1. Reenquadramento da Narrativa: Desafia o otimismo prevalecente de que modelos mais novos são inerentemente mais seguros, argumentando que a incapacidade de avaliar rigorosamente as defesas mascara uma potencial estagnação.
2. Chamada por Rigor: Defende o retorno a subproblemas bem definidos e formais (semelhantes às perturbações limitadas por $\ell_p$) como um pré-requisito para o progresso científico. Os autores argumentam que, sem a capacidade de resolver problemas formais cuidadosamente delimitados, o desafio mais amplo da segurança de LLMs não poderá ser abordado.
3. Orientação Metodológica: Sugere que os artigos devem declarar explicitamente se seu objetivo é a segurança no mundo real (onde definições vagas podem ser aceitáveis para redução imediata de danos) ou o avanço científico (que exige frameworks formais e rigorosos).

Os autores concluem que, a menos que a comunidade consiga restabelecer definições rigorosas, métodos de otimização e benchmarks reproduzíveis, o campo corre o risco de passar outra década falhando em produzir progresso significativo na segurança dos LLMs.