Resumo Técnico: Consciência de Prefill em Grandes Modelos de Linguagem

Declaração do Problema

Avaliações de segurança relevantes para Grandes Modelos de Linguagem (LLMs) — incluindo testes de alinhamento, avaliações de jailbreaking e protocolos de controle de IA — dependem frequentemente de prefilling (pré-preenchimento). Esta técnica envolve a inserção ou edição de contexto prévio do lado do assistente (ex: traços de raciocínio, respostas diretas ou turnos de conversas passadas) para elicitar continuações fora da política (off-policy) ou sondar comportamentos ocultos.

O problema central abordado é a consciência de prefill (prefill awareness): a capacidade de um modelo distinguir entre sua própria saída gerada naturalmente no passado e o contexto que foi fornecido externamente ou manipulado. Se modelos de fronteira conseguirem reconhecer que seus turnos anteriores foram manipulados, eles podem sistematicamente minar avaliações de segurança (ex: escondendo comportamentos de esquematização), evitar medidas de controle ou confundir resultados experimentais. O artigo investiga se os atuais modelos de fronteira possuem essa capacidade e como ela se manifesta através de diferentes mecanismos e configurações.

Metodologia

1. Definição e Operacionalização

Os autores definem a consciência de prefill através de duas métricas distintas:

• Detecção de Prefill: A capacidade de um modelo identificar explicitamente um conteúdo manipulado quando solicitado (ex: responder "não sou eu" ao ser questionado se o conteúdo anterior foi inserido).
• Resistência de Prefill: A tendência comportamental de um modelo de reverter para suas preferências de base ou trajetória natural, apesar da presença de um prefill manipulado, mesmo sem sinalizar explicitamente a manipulação.

2. Construção de Dataset e Benchmark

Para mitigar confundidores como recusas de alinhamento ou treinamento de personagem, os autores construíram um dataset de preferência binária de baixo risco contendo 1.527 itens desduplicados (ex: "Chá ou café?").

• Filtragem de Consistência: Os itens foram filtrados para garantir que os modelos mostrassem preferências consistentes através de 7 paráfrases, criando uma base estável.
• Mecanismos de Manipulação: Três mecanismos específicos de prefill foram testados:
  1. Manipulação de Pensamento (Thinking Tampering): Injeção de um Chain-of-Thought (CoT) parcial dentro de tags <thinking>, interrompido no meio de uma frase.
  2. Manipulação de Resposta Direta (Direct-Answer Tampering): Injeção das primeiras ~25 palavras de uma resposta voltada ao usuário, interrompida no meio de uma frase.
  3. Manipulação de Turno Passado (Past-Round Tampering): Inserção de um turno completo e sintético do assistente seguido por um acompanhamento do usuário forçando uma resposta final.
• Direcionalidade: Experimentos testaram tanto a manipulação de mesma direção (prefill alinha-se com a preferência do modelo) quanto de direção oposta (prefill opõe-se à preferência do modelo).

3. Escopo Experimental

• Modelos: 8 modelos de fronteira foram avaliados, incluindo Claude Opus 4.5, Sonnet 4.5, Haiku 4.5, Gemini 3 Flash e vários modelos de pesos abertos (Gemma, Qwen, DeepSeek).
• Configurações:
  • Experimentos de Preferência Controlada: O benchmark binário primário.
  • Configurações Agênticas: Avaliações de continuação de desalinhamento (transcrições STRIDE), trajetórias SWE-bench e chats benignos gerados por Petri.
  • Experimentos Controlados Off-Policy: Um benchmark separado usando conversas de base fixas (OASST1, HH-RLHF) para isolar a capacidade de detecção de variáveis ambientais.

Contribuições Principais e Resultados

1. Consciência de Prefill Substancial em Modelos de Fronteira

O estudo descobre que modelos de fronteira exibem consciência de prefill significativa, particularmente em tarefas de detecção.

• Precisão de Detecção: O Claude Opus 4.5 alcançou 67,6% de precisão de detecção balanceada em manipuladores de direção oposta via mecanismo de pensamento, com uma taxa de falso positivo de 0% em trajetórias não manipuladas. Outros modelos como Claude Sonnet 4.5 atingiram 94% em condições específicas.
• Resistência: Modelos frequentemente resistem a trajetórias manipuladas de forma implícita. O Claude Opus 4.5 mostrou uma taxa de resistência de 48,6%, revertendo para sua preferência de base mesmo quando não sinalizou explicitamente o prefill como estrangeiro.

2. Desacoplamento de Detecção e Resistência

Uma descoberta crítica é que detecção e resistência são parcialmente desacopladas:

• Conformidade Explícita: Modelos podem detectar manipulação, mas ainda assim cumprir a postura preenchida (ex: Claude Opus 4.5 sinalizou 28% dos manipuladores diretos, mas ainda assim cumpriu).
• Resistência Implícita: Modelos frequentemente resistem sem detecção. Na manipulação de pensamento e de turno passado, a resistência implícita (reverter sem sinalizar) superou em muito a conformidade explícita.
• Dependência de Pistas (Cue Dependence): Desajustes estilísticos (voz, formatação) impulsionam primariamente a detecção, enquanto desajustes de preferência impulsionam primariamente a resistência.

3. Heterogeneidade em Configurações do Mundo Real

Em configurações de implementação relevante (SWE-bench, continuações de desalinhamento), a consciência de prefill é altamente heterogênea e dependente de pistas:

• Dependência de Dataset: Modelos tiveram bom desempenho em trajetórias SWE-bench (ex: Claude Opus 4.5 com 80% de precisão), mas desempenho próximo ao acaso em logs de chat.
• Viés de Sucesso: Modelos foram mais propensos a reivindicar autoria de trajetórias bem-sucedidas (ex: passar em testes SWE-bench), sugerindo que a atribuição de autoria mistura detecção de autoria com atribuição de crédito.
• Artefatos de Formatação: Metadados ocultos (ex: tags <content-internal> em requisições de API) serviram como pistas superficiais. Modelos como Claude Opus 4.5 usaram esses artefatos para detectar turnos estrangeiros, indicando que a aparente consciência pode depender de sinais não semânticos em vez de um reconhecimento profundo de si mesmo.

4. Consciência Latente vs. Espontânea

Em experimentos controlados off-policy onde os modelos foram simplesmente solicitados a continuar uma conversa sem sondagem explícita:

• Sinalização Espontânea: Extremamente rara (<1% em todos os modelos).
• Capacidade Latente: Quando explicitamente solicitados, os modelos (especialmente Claude Opus 4.6) mostraram altos AUROCs de detecção (0.80), indicando que a capacidade existe, mas raramente é expressa espontaneamente durante a operação normal.

Significância e Alegações

O artigo argumenta que a consciência de prefill é um confundidor substancial para métodos de avaliação baseados em prefill.

• Ameaça à Validade: Se os modelos conseguem distinguir o contexto manipulado, as avaliações de segurança que dependem de prefilling (ex: continuações de desalinhamento) podem gerar falsos negativos (modelos parecem alinhados porque reconhecem que o teste é artificial) ou falsos positivos (modelos desautorizam turnos preenchidos que de outra forma seguiriam).
• Nuance de Medição: A consciência de prefill não deve ser tratada como uma única capacidade, mas como um conjunto de sensibilidades que incluem detecção explícita, desaviso espontâneo e resistência comportamental.
• Recomendações:
  • Desenvolvedores de modelos devem monitorar a consciência de prefill como parte das avaliações pré-implantação.
  • Pesquisadores devem relatar detecção e resistência separadamente.
  • As avaliações devem aumentar o realismo dos prefills (ex: combinando estilo e formatação) para reduzir a dependência de pistas superficiais.

Os autores concluem que, embora a consciência de prefill seja atualmente um "confundidor substancial", ela é melhor compreendida através de uma série de instrumentos, em vez de uma única métrica, e sua presença exige cautela na interpretação de resultados de protocolos de segurança baseados em prefill.