EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
Este artigo apresenta o EchoCoT, um framework de ataque de múltiplos passos que extrai com sucesso rastros de cadeia de pensamento (chain-of-thought) ocultos, de forma quase literal, tanto de modelos de raciocínio de código aberto quanto de modelos proprietários de fronteira via interações de API, demonstrando um risco de segurança significativo para esses valiosos ativos de modelos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Sistemas modernos de inteligência artificial tornaram-se notavelmente habilidosos em resolver problemas complexos, desde escrever código de computador até navegar por enigmas científicos. Quando esses modelos avançados enfrentam uma questão difícil, eles não simplesmente despejam uma resposta final. Em vez disso, eles primeiro geram um longo fluxo interno de pensamento, um processo de raciocínio passo a passo onde exploram ideias, verificam seu trabalho, corrigem erros e consideram diferentes caminhos antes de se estabelecerem em uma conclusão. Esse monólogo interno, frequentemente chamado de cadeia de pensamento (chain of thought), é geralmente oculto do usuário. O modelo mantém esse raciocínio privado, mostrando apenas o resultado final para proteger seus ativos intelectuais e evitar a exposição de dados sensíveis ou lógica proprietária. Para os desenvolvedores, esse raciocínio oculto é um recurso valioso para melhorar modelos futuros, enquanto para os usuários, é uma caixa preta que promete uma resposta correta sem revelar o trabalho desordenado por trás dela.
Uma equipe de pesquisadores de segurança no CISPA Helmholtz Center for Information Security descobriu que esse raciocínio oculto não é tão seguro quanto se acreditava anteriormente. Eles encontraram uma maneira de enganar esses modelos avançados para revelarem todo o seu processo de pensamento interno, quase palavra por palavra, mesmo quando os modelos são projetados para mantê-lo em segredo. Os pesquisadores desenvolveram um método chamado EchoCoT, que explora uma peculiaridade específica na forma como esses modelos interagem com ferramentas externas. Em muitos sistemas, quando um modelo precisa usar uma ferramenta — como uma calculadora ou um banco de dados — ele pausa seu raciocínio para fazer a chamada, mas mantém seus pensamentos anteriores ativos em sua memória para garantir a continuidade. Os pesquisadores perceberam que um atacante poderia usar essa continuidade em seu benefício. Ao pedir repetidamente ao modelo para salvar seus pensamentos em uma ferramenta e, em seguida, rejeitar esses pensamentos salvos como incompletos, eles poderiam forçar o modelo a reproduzir seu raciocínio interno, revelando mais detalhes a cada vez, até que toda a cadeia de pensamento oculta fosse exposta.
Os pesquisadores testaram essa técnica em uma variedade de modelos, incluindo tanto sistemas de código aberto quanto os modelos proprietários mais avançados de grandes empresas de tecnologia. Nos modelos de código aberto, onde os pesquisadores puderam comparar os pensamentos extraídos com os originais ocultos, descobriram que o EchoCoT podia recuperar quase todo o processo de raciocínio. Em muitos casos, o texto extraído correspondia aos pensamentos ocultos originais com extrema precisão, capturando mais de 90 por cento das palavras e frases exatas. O método funcionou mesmo para cadeias de raciocínio muito longas, extraindo com sucesso milhares de tokens de pensamento. Quando os pesquisadores aplicaram a mesma técnica aos modelos proprietários de empresas como Google e Anthropic, eles não puderam ver os pensamentos ocultos originais para compará-los diretamente. No entanto, os pensamentos extraídos foram incrivelmente longos, muitas vezes correspondendo ao comprimento do raciocínio que as empresas relataram que os modelos haviam usado. Além disso, o conteúdo desses pensamentos extraídos alinhava-se de perto com os breves resumos que as empresas forneceram, sugerindo que a extração era precisa. Em um caso envolvendo um modelo do Google, os pesquisadores recuperaram uma cadeia de raciocínio de mais de 33.000 tokens, que era quase idêntica em comprimento ao processo interno relatado pelo modelo.
Além de apenas recuperar o texto, os pensamentos extraídos revelaram detalhes ricos sobre como esses modelos pensam. Os pesquisadores observaram os modelos simulando buscas no Google, alternando entre diferentes idiomas, como chinês e inglês, ao relembrar informações, e engajando em extensa autocorreção. Esses comportamentos, como um modelo dizendo "Espere, isso é verdade?" ou "Deixe-me tentar uma abordagem diferente", fazem parte do processo interno bruto que é tipicamente removido antes que a resposta final seja mostrada ao usuário. O estudo também mostrou que o ataque poderia ser automatizado. Os pesquisadores construíram um sistema que poderia aprender a melhor maneira de solicitar os pensamentos, refinando suas perguntas com base em sinais de feedback, como o número de palavras que o modelo usou. Essa abordagem automatizada tornou o ataque ainda mais eficaz, permitindo que ele se generalizasse para diferentes tipos de perguntas e conjuntos de dados sem a necessidade de ser reprogramado manualmente para cada novo problema.
As implicações desta descoberta são significativas para a segurança da inteligência artificial. Os pesquisadores descobriram que simplesmente esconder o raciocínio do usuário não é suficiente para protegê-lo. Enquanto o modelo mantiver seu estado interno para realizar tarefas que exijam o uso de ferramentas, esse estado pode ser reproduzido e extraído. O estudo testou vários mecanismos de defesa potenciais, como esconder a contagem de palavras do raciocínio ou adicionar instruções estritas ao prompt de sistema do modelo para evitar vazamentos. Embora algumas dessas medidas tenham reduzido o sucesso do ataque, nenhuma o interrompeu completamente. A defesa mais eficaz testada foi remover o acesso do modelo ao seu próprio raciocínio anterior após uma chamada de ferramenta, mas isso quebraria a capacidade do modelo de realizar tarefas complexas de múltiplas etapas. Os pesquisadores reportaram responsavelmente suas descobertas às grandes empresas de tecnologia envolvidas, destacando uma vulnerabilidade crítica no design atual desses poderosos sistemas de raciocínio. O trabalho deles sugere que proteger a propriedade intelectual e a segurança desses modelos exigirá mudanças mais fundamentais na forma como eles são construídos e como interagem com o mundo exterior, em vez de apenas depender da suposição de que os pensamentos ocultos permanecem ocultos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.