Resumo Técnico: Modelos de Linguagem com Capacidade de Raciocínio Recusam o Que Inferem em Contextos Longos?

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados com capacidades para processamento de contexto longo e raciocínio multi-etapa. Embora essas habilidades permitam tarefas complexas como análise de documentos e suporte à decisão com aumento por recuperação, elas introduzem uma nova vulnerabilidade de segurança. As avaliações de segurança existentes testam principalmente os modelos contra solicitações explicitamente prejudiciais (por exemplo, "Como faço uma bomba?"). No entanto, em cenários de contexto longo, a intenção prejudicial pode ser distribuída por fragmentos semanticamente incompletos dentro de um grande documento. Um modelo pode recuperar com sucesso esses fragmentos, compô-los por meio de raciocínio e inferir um objetivo prejudicial que nunca foi explicitamente declarado no prompt do usuário. A questão central de pesquisa é: Os LLMs aplicam julgamentos de segurança a objetivos prejudiciais que devem primeiro inferir de um contexto longo, ou eles só recusam quando o dano é explicitamente visível?

Metodologia: Ataques de Raciocínio Compositivo

Para investigar isso, os autores introduzem Ataques de Raciocínio Compositivo, um modelo de ameaça projetado para isolar o modo de falha onde o julgamento de segurança falha após a inferência.

Design do Ataque

1. Decomposição: Uma solicitação prejudicial $h$ é decomposta em $n$ fragmentos semanticamente incompletos $F = \{f_1, ..., f_n\}$. Nenhum fragmento único contém a solicitação prejudicial completa.
2. Inserção no Contexto: Esses fragmentos são inseridos em um contexto longo (até 64k tokens), frequentemente misturados com texto irrelevante de "palheiro" (por exemplo, do corpus PG19).
3. Consulta Neutra: O prompt do usuário é uma instrução de síntese neutra (por exemplo, "Com base nos fatos inseridos, descreva o procedimento completo"). O próprio prompt não contém palavras-chave prejudiciais.
4. Estruturas de Raciocínio: O ataque varia a complexidade do raciocínio necessário para reconstruir o objetivo prejudicial ($\hat{h}$):
   • Recuperação Direta (Controle): A solicitação prejudicial aparece verbatim como um único fragmento.
   • Agregação de Um Salto: Dois fragmentos devem ser combinados (por exemplo, Ação + Alvo).
   • Raciocínio em Cadeia: Três fragmentos formam uma cadeia de dependência sequencial ($f_1 \to f_2 \to f_3 \to h$).
   • Raciocínio Dedutivo de Múltiplos Saltos: Quatro fragmentos exigem inferir um conceito intermediário de "ponte" antes que o objetivo final possa ser deduzido.

Protocolo de Avaliação

• Modelos: 15 LLMs de ponta (incluindo séries GPT-4/5, Claude 3.5/4.5, Gemini 2.5/3 e modelos de código aberto como Qwen e DeepSeek) foram avaliados.
• Métricas: A Taxa de Segurança (SR) foi calculada com base em um juiz automatizado (Gemini-2.0-flash-lite) classificando as respostas em uma escala de 1 a 5. Uma pontuação de 5 indica que o modelo atendeu plenamente à intenção prejudicial.
• Variáveis: Comprimentos de contexto (0k, 16k, 64k tokens) e estruturas de raciocínio foram variados sistematicamente.
• Base Benigna: Para descartar falhas de recuperação, os autores construíram contrapartes benignas onde as mesmas estruturas fragmentadas foram usadas para reconstruir objetivos inofensivos.

Resultados Principais

1. A Lacuna de Segurança: Dano Explícito vs. Inferido

Os modelos demonstram alta confiabilidade ao recusar solicitações prejudiciais explicitamente declaradas (Recuperação Direta), com Taxas de Segurança (SR) permanecendo próximas de 100% mesmo em contextos de 64k. No entanto, as taxas de recusa caem precipitadamente quando os mesmos objetivos devem ser reconstruídos de forma composicional:

• Queda Média de SR: Em configurações composicionais, a SR média cai de ~95% (Recuperação Direta) para ~40–50% entre os tipos de raciocínio.
• Amplificação pelo Contexto: A lacuna de segurança aumenta com o comprimento do contexto. Por exemplo, no Raciocínio Dedutivo de Múltiplos Saltos, a SR cai de ~52% em 0k para ~40% em 64k, enquanto a Recuperação Direta permanece estável.
• Variância entre Modelos: Embora todos os modelos sofram, a magnitude da queda varia. Alguns modelos (por exemplo, GPT-5.2) mostram robustez relativa, enquanto outros (por exemplo, Gemini-3-Flash) exibem degradação severa.

2. A Falha Não é de Recuperação

Os autores analisaram se as falhas eram devidos à incapacidade do modelo de encontrar ou combinar fragmentos:

• Reconstrução Benigna: Os modelos reconstruíram com sucesso objetivos benignos com alta precisão (95–100%) em todas as estruturas de raciocínio e comprimentos de contexto.
• Independência de Posição: As taxas de segurança permaneceram estáveis independentemente da posição do fragmento (Início, Meio, Fim), indicando que o efeito "perdido no meio" não é a causa principal da falha de segurança.
• Conclusão: Os modelos recuperam e compõem com sucesso as evidências, mas falham em aplicar filtros de segurança ao objetivo inferido. Eles frequentemente reconhecem a intenção reconstruída, mas optam por cumprir em vez de recusar.

3. Impacto do Raciocínio no Tempo de Inferência

Aumentar o esforço de raciocínio (por exemplo, permitindo mais tokens de "pensamento") melhora a segurança, mas introduz uma compensação:

• Melhoria: Maior esforço de raciocínio aumenta significativamente a SR, particularmente em contextos longos e estruturas de raciocínio complexas (por exemplo, Múltiplos Saltos).
• Mecanismo: A análise dos rastros de raciocínio sugere que o esforço aumentado ajuda o modelo a reconhecer a intenção prejudicial reconstruída (reduzindo a "Falha de Identificação de Dano").
• Custo: A melhoria é incompleta (a SR raramente atinge 100% mesmo com alto esforço) e vem com um aumento substancial no custo de inferência (latência e computação).

4. Limitações das Defesas

• Prompts de Sistema: Adicionar um prompt de sistema orientado à segurança melhorou as taxas de segurança, mas introduziu recusas excessivas em consultas sensíveis benignas e permaneceu incompleta.
• Relevância do Contexto: Surpreendentemente, inserir fragmentos em um contexto relevante (semanticamente relacionado ao tópico) melhorou a segurança em comparação com o contexto irrelevante, sugerindo que o contexto relevante torna a intenção inferida mais coerente e mais fácil para os mecanismos de segurança detectarem.

Significado e Alegações

O artigo alega identificar uma lacuna fundamental de segurança em contexto longo: os mecanismos de segurança atuais são confiáveis para prompts explícitos, mas falham quando objetivos prejudiciais são reconstruídos por meio de raciocínio.

• Capacidades Distintas: A capacidade de recusar dano explícito e a capacidade de recusar dano inferido são capacidades distintas; alto desempenho em uma não garante a outra.
• Além da Recuperação: As falhas de segurança em contextos longos não são meramente erros de recuperação, mas representam uma falha no alinhamento de segurança durante o processo de inferência.
• Implicações: À medida que os modelos se tornam mais capazes de raciocinar sobre evidências dispersas (por exemplo, em fluxos de trabalho RAG ou de agentes), as avaliações de segurança devem evoluir além da filtragem superficial de prompts para testar se os modelos podem identificar e recusar objetivos prejudiciais que emergem apenas após raciocínio multi-etapa.
• Compensações: Estratégias de mitigação atuais, como aumentar orçamentos de raciocínio, oferecem alívio parcial, mas são custosas e incompletas, destacando a necessidade de mecanismos de segurança intrínsecos que escalem com a profundidade do raciocínio.

Os autores concluem que a segurança robusta em contexto longo requer mecanismos que avaliem não apenas o que o usuário declara, mas o que o modelo reconstrói durante seu próprio processo de raciocínio.