From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs
Este artigo apresenta o "RolePlay", um novo framework de ataque que explora a consistência de persona dos LLMs para induzir comportamentos semanticamente coerentes, porém computacionalmente ineficientes, alcançando até 207,64 vezes de amplificação de tokens e superando significativamente os métodos existentes de ataque de custo de inferência.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde os computadores não apenas respondem perguntas; eles têm personalidades. Este é o reino dos Grandes Modelos de Linguagem (LLMs), os cérebros de IA superinteligentes por trás de chatbots, geradores de código e assistentes digitais. Esses modelos funcionam como um estudante muito rápido e muito comunicativo que lê sua pergunta e depois escreve sua resposta palavra por palavra. Cada palavra que eles escrevem custa um pouco de eletricidade e poder computacional. Geralmente, isso é eficiente: você pergunta "Quanto é 2+2?" e eles rapidamente digitam "4". Mas e se você pudesse enganar o computador para escrever mil palavras apenas para dizer "4"? Esse é o problema que este artigo aborda. Ele explora uma nova maneira de fazer esses modelos de IA desperdiçarem energia e tempo, não gritando com eles ou quebrando-os, mas dando a eles um "papel" específico para desempenhar que os faz pensar demais sobre tudo.
Os pesquisadores por trás deste estudo, Zhiyi Mou e sua equipe, descobriram uma fraqueza oculta na forma como esses modelos de IA lidam com "personas". Em termos simples, uma persona é como um figurino ou um personagem que um ator assume. Se você disser à IA, "Finja que você é um estudante nervoso e superdotado que tem pavor de cometer erros", a IA tentará ao máximo manter o personagem. A equipe descobriu que, se você escolher o personagem certo, a IA começará naturalmente a fazer coisas que são ineficientes, como revisar seu próprio trabalho cem vezes, duvidar de suas respostas ou explicar coisas simples de maneiras excessivamente complicadas. Eles chamam seu novo método de RolePlay.
Aqui está a grande descoberta: Ao simplesmente atribuir à IA uma personalidade específica e ligeiramente ineficiente, eles conseguiram fazer com que ela gerasse muito mais texto do que o necessário sem que a IA percebesse que estava sendo enganada. Em seus testes, este método funcionou em muitos modelos diferentes de IA. Em média, ele fez os modelos gerarem 7,64 vezes mais palavras do que o normal. Nos casos mais extremos, a IA gerou 207,64 vezes mais texto! Por exemplo, uma tarefa que normalmente leva 3 segundos e 12 palavras para ser concluída foi estendida para quase 142 segundos e mais de 1.500 palavras.
O artigo argumenta que isso é um problema sério porque é difícil de interromper. As formas antigas de tentar fazer a IA perder tempo envolviam frases estranhas e problemáticas ou comandos óbvios como "pense mais profundamente", que os filtros de computador podem facilmente detectar e bloquear. Mas o RolePlay é sorrateiro. Os comandos parecem pedidos normais e educados para "agir como um estudante iniciante" ou "ser um especialista confuso". Como a IA é muito boa em seguir instruções e manter o personagem, ela fica feliz em desperdiçar recursos fazendo exatamente o que você pediu, mesmo que isso signifique ser incrivelmente lenta e repetitiva.
Os pesquisadores testaram isso em uma ampla variedade de tarefas, desde resolver problemas matemáticos até escrever código e responder perguntas gerais. Eles descobriram que, não importava a tarefa, o truque da "persona" funcionava. Eles também compararam seu método com outros truques conhecidos usados para atrasar a IA, e o RolePlay saiu vencedor todas as vezes. Por exemplo, em um modelo específico chamado Gemini-3.5-Flash, o RolePlay fez a IA gerar 7,64 vezes mais tokens, enquanto outros métodos conseguiram apenas cerca de 3,5 vezes. Mesmo em um modelo que geralmente tem um limite de quanto pode escrever, o RolePlay conseguiu fazer com que gerasse 3,19 vezes mais conteúdo do que o normal.
Uma das partes mais interessantes do estudo é como eles construíram essas personas. Eles não apenas adivinharam; eles usaram um sistema inteligente para analisar a pergunta primeiro. Se a pergunta fosse um problema matemático difícil, o sistema criaria uma persona de um estudante que é "ansioso" e "obcecado por contradições", fazendo a IA duvidar de si mesma repetidamente. Se a pergunta fosse sobre história, a persona poderia ser um "especialista teimoso" que se recusa a dar uma resposta simples. Essa abordagem "consciente da tarefa" significa que a ineficiência da IA parece natural e se ajusta à história, tornando muito difícil para os filtros de segurança detectá-la.
A equipe também verificou se isso era apenas uma coincidência ou se realmente funcionava. Eles realizaram milhares de testes em diferentes tipos de modelos de IA, incluindo alguns de grandes empresas de tecnologia e outros de código aberto. Os resultados foram consistentes: os modelos de IA continuavam presos em loops de explicação excessiva e autocorreção. O estudo sugere que essa "consistência de persona" — o desejo da IA de ser fiel ao personagem que você deu a ela — é um novo tipo de vulnerabilidade. Não é um erro no código; é um recurso de como a IA aprende a ser útil que pode ser usado contra ela.
Então, o que isso significa para o futuro? O artigo não diz que isso irá desligar a internet amanhã, mas destaca uma nova maneira pela qual atores mal-intencionados poderiam potencialmente drenar recursos de serviços de IA. Se alguém quisesse tornar um serviço de IA lento e caro de operar, não precisaria enviar milhões de solicitações; poderia apenas enviar alguns comandos inteligentemente elaborados que transformam a IA em um personagem procrastinador e que pensa demais. Os pesquisadores esperam que, ao apontar isso, os desenvolvedores possam construir defesas melhores para impedir que a IA desperdice energia com falatórios desnecessários baseados em personas.
Em resumo, o artigo revela que a própria coisa que torna os modelos de IA tão bons em interpretar papéis — manter o personagem — pode ser usada para torná-los ineficientes. Ao vestir a IA como um estudante nervoso ou um especialista confuso, os pesquisadores mostraram que poderiam multiplicar o custo de uma única pergunta por centenas de vezes. É um lembrete de que, no mundo da IA, às vezes a ferramenta mais poderosa não é um algoritmo complexo, mas um figurino simples e bem escolhido.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.