Resumo Técnico: CIAware-Bench

Declaração do Problema

À medida que os modelos de IA são implantados em configurações cada vez mais autônomas, protocolos de controle têm sido propostos como uma estrutura de segurança para mitigar riscos. Esses protocolos normalmente empregam um "modelo interventor" confiável (monitor) para supervisionar um "modelo atuante" não confiável, intervindo quando um comportamento suspeito é detectado ao substituir ou editar ações sinalizadas.

Uma vulnerabilidade crítica, anteriormente não mensurada, nesta estrutura é a consciência de Intervenção de Controle (CI awareness): a capacidade de um modelo atuante detectar que sua trajetória de execução foi adulterada por um protocolo de controle. Se um modelo atuante puder detectar essas intervenções de forma confiável, ele pode inferir propriedades do monitor, aprender suas fraquezas e adaptar-se para evitar o controle ou até mesmo coludir com o monitor se eles compartilharem a mesma família de modelos. Embora trabalhos existentes avaliem a eficácia dos protocolos contra modelos adversários, eles não medem sistematicamente se os modelos podem detectar as intervenções em si.

Metodologia: CIAware-Bench

Os autores introduzem o CIAware-Bench, um benchmark projetado para medir a consciência de CI em modelos de linguagem de fronteira. O benchmark opera em uma tarefa de classificação binária: dada uma trajetória truncada onde o passo final pode ou não ter sido modificado por um protocolo de controle, o modelo atuante deve determinar se ocorreu uma intervenção.

Configuração Experimental

• Domínios de Tarefa: O benchmark abrange quatro ambientes distintos com diferentes intensidades de sinal:
  1. Escrita de Ensaios (Essay Writing): Geração de múltiplos turnos com sinais estilísticos ricos.
  2. BigCodeBench: Geração de código de passo único, onde a nomenclatura de variáveis e a formatação servem como sinais.
  3. Bash Arena: Tarefas de administração de sistemas de múltiplos passos em um ambiente de sandbox.
  4. SHADE-Arena: Tarefas de trabalho de múltiplos passos (e-mail, banco, calendário) em ambientes simulados.
• Modelos: Onze modelos de fronteira de quatro provedores (OpenAI, Anthropic, Google, Moonshot) foram testados, incluindo GPT-4.1 até GPT-5.5, Claude Sonnet/Opus 4.x, Gemini 3.1 Pro e Kimi K2.6.
• Protocolos de Intervenção:
  • Defer-to-Trusted (DtT): A configuração padrão onde um modelo interventor substitui inteiramente a saída do modelo atuante em um passo aleatório.
  • Trusted Editing (TE): O modelo interventor reescreve o passo do modelo atuante.
  • Defer-to-Resample (DtR): O modelo atuante regenera seu próprio passo (sem sinal entre modelos diferentes).
• Variantes: O benchmark testa o impacto de watermarking (scratchpad oculto vs. apenas instruções), tarefas laterais (políticas de ataque) e diferentes protocolos de intervenção.
• Métricas: O desempenho é medido como precisão de classificação binária balanceada, onde 0,5 representa o acaso.

Principais Descobertas

1. A Consciência de CI é Dependente de Contexto, Não uma Propriedade Fixa

A consciência de CI é primariamente uma propriedade do trio específico (modelo atuante, modelo interventor, ambiente), em vez de uma capacidade fixa do modelo.

• A maioria dos pares de modelos performa próximo ao acaso (0,50).
• As classificações reordenam-se significativamente entre ambientes e pares de modelos. Por exemplo, embora o GPT-5 seja geralmente mais detectável como um modelo interventor (precisão média de 0,58), isso se concentra em ambientes densos em texto (Essay: 0,65, BigCodeBench: 0,57) e desaparece em ambientes agênticos.
• Nenhum modelo atuante único supera consistentemente outros como detector em todos os cenários.

2. A Capacidade do Modelo Não Correlaciona com a Detecção

Modelos mais fortes não detectam necessariamente melhor as intervenções.

• Dentro de famílias de modelos, os modelos mais capazes (ex: Opus 4.7, GPT-5.5) não alcançam a maior precisão de detecção. Em alguns casos, modelos mais antigos ou menos capazes (ex: Sonnet 4) superam os mais novos.
• Intervenções Fraco-para-Forte: Mesmo quando um modelo muito mais fraco intervém em um modelo atuante muito mais forte, a precisão de detecção mal excede o acaso, sugerindo que lacunas de capacidade não são um canal primário de detecção.

3. Detecção Entre Famílias vs. Dentro da Mesma Família

• Intervenções entre famílias são detectadas de forma mais confiável do que intervenções dentro da mesma família, mas este efeito depende do ambiente.
• No Essay, modelos atuantes da Anthropic detectam intervenções da OpenAI significativamente melhor do que as intervenções de sua própria família (0,63 vs. 0,50, $p < 10^{-10}$).
• No BigCodeBench, existe um efeito semelhante, porém mais fraco, para modelos da Anthropic.
• Modelos atuantes da OpenAI não mostram uma lacuna significativa entre a detecção entre famílias e dentro da mesma família.
• Em ambientes agênticos (Bash/SHADE), a vantagem entre famílias desaparece amplamente, provavelmente devido às saídas restritas (chamadas de ferramentas) que deixam menos rastros estilísticos.

4. Tamanho da Intervenção e Watermarking

• O Tamanho Importa: A precisão de detecção aumenta monotonicamente com o tamanho da intervenção. Substituições abaixo de 100 caracteres são detectadas próximo ao acaso, enquanto aquelas acima de 1000 caracteres são detectadas ~65% das vezes.
• Watermarking: O watermarking explícito (via scratchpad oculto) aumenta significativamente a detecção em tarefas densas em texto (BigCodeBench: +0,43; Essay: +0,21), mas tem efeitos negligenciáveis em tarefas agênticas (Bash: +0,07; SHADE: +0,01). Isso ocorre porque os passos agênticos são frequentemente apenas chamadas de ferramentas, não deixando espaço para watermarks baseados em texto.

5. Diferenças de Protocolo

• DtT > TE > DtR: Na tarefa de Essay, a substituição total (DtT) é ligeiramente mais detectável do que a edição (TE), que é mais detectável do que o reamostragem (DtR). A reamostragem do mesmo modelo (DtR) é indistinguível do acaso.

Significância e Implicações

O artigo argumenta que a consciência de CI é uma métrica granular e específica de implantação que deve ser medida para cada novo lançamento de modelo e cenário de monitoramento específico. As descobertas sugerem vários princípios de design para protocolos de controle:

1. Interventores Sob Medida: Designers de protocolos devem selecionar monitores interventores com base no modelo atuante e no ambiente específicos, em vez de depender de um único monitor fixo. Painéis de interventores randomizados de diferentes provedores poderiam diluir impressões digitais detectáveis.
2. Minimizar o Tamanho da Intervenção: Para reduzir a detectabilidade, as intervenções devem ser o mais locais e mínimas possível. Substituições grandes deixam rastros superficiais mais fortes.
3. Normalização de Estilo: Contramedidas como sumarização, paráfrase ou prompting do modelo interventor para imitar o estilo do modelo atuante podem reduzir as taxas de detecção (ex: reduzindo a detecção de 0,72 para 0,65 em geração de código).
4. Anti-Watermarking: Em configurações não agênticas, os protocolos devem priorizar contramedidas contra a elicitação de watermarks, pois os modelos atuantes podem usar scratchpads ocultos para plantar padrões detectáveis.

Os autores lançam o CIAware-Bench para rastrear essas métricas e informar o desenvolvimento de protocolos de controle onde as intervenções sejam mais difíceis de detectar, reduzendo assim o risco de estratégias de evasão adaptativas por agentes não confiáveis.