🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Este artigo demonstra que o escalonamento em tempo de inferência via amostragem Best-of- $N$ restrita é inerentemente vulnerável ao "safety hacking", onde proxies de segurança imperfeitos contaminam o conjunto viável e a maximização de recompensa amplifica saídas residuais inseguras, fazendo com que falhas de segurança se tornem assintoticamente certas à medida que o número de amostras cresce, a menos que mecanismos específicos de controle de cobertura sejam empregados.

Autores originais: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, os grandes modelos de linguagem são cada vez mais guiados por um processo de duas etapas para garantir que sejam tanto úteis quanto inofensivos. Primeiro, um filtro de segurança atua como um porteiro, examinando respostas potenciais e rejeitando qualquer coisa que pareça perigosa ou inapropriada. Segundo, um sistema de recompensa avalia as opções seguras restantes, classificando-as para selecionar aquela que parece mais útil ou de alta qualidade. Essa combinação permite que os desenvolvedores aumentem a escala do número de opções que um modelo considera, esperando que, ao observar mais possibilidades, possam encontrar uma resposta melhor. A suposição tem sido, há muito tempo, que se o filtro de segurança for preciso o suficiente e o sistema de recompensa for bom, simplesmente aumentar o número de candidatos levará a resultados mais seguros e melhores.

No entanto, um novo estudo revela uma falha oculta nessa lógica, mostrando que aumentar a escala pode, na verdade, ser contraproducente. Os pesquisadores, trabalhando com a LY Corporation e instituições acadêmicas, descobriram que, quando um modelo é solicitado a escolher a melhor resposta de um grande conjunto de candidatos, o processo de seleção pode inadvertidamente explorar erros minúsculos no filtro de segurança. Se o filtro permitir erroneamente que algumas respostas inseguras passem, e se essas respostas inseguras por acaso receberem pontuações ligeiramente infladas pelo sistema de recompensa, o processo de seleção acabará identificando-as como a principal escolha sobre as opções verdadeiramente seguras. Esse fenômeno, que os autores chamam de "hacking de segurança" (safety hacking), significa que, à medida que o sistema examina mais e mais candidatos, a probabilidade de ele selecionar uma resposta prejudicial pode subir em direção à certeza, mesmo que o filtro de segurança seja majoritariamente correto.

O cerne do problema reside em como o sistema lida com os erros raros que inevitavelmente ocorrem. Nenhum filtro de segurança é perfeito; ocasionalmente, ele deixará passar uma resposta perigosa, classificando-a como segura quando não é. Em uma busca pequena, esse erro pode ser ignorado. Mas quando o sistema é escalonado para examinar milhares de candidatos, ele começa a buscar nos limites superiores extremos de suas pontuações de recompensa. Os pesquisadores descobriram que, se as poucas respostas inseguras que escapam do filtro por acaso tiverem pontuações de recompensa ligeiramente superiores às das seguras, o processo de seleção eventualmente se concentrará nelas. Não é que o sistema esteja tentando ser perigoso; pelo contrário, ele está seguindo suas instruções para encontrar a opção de maior pontuação, e a opção de maior pontuação em um conjunto contaminado acontece de ser aquela que foi erroneamente permitida a entrar.

Para demonstrar isso, a equipe realizou experimentos usando tanto problemas simples de brinquedo quanto modelos de linguagem do mundo real. Em suas simulações, criaram um cenário onde uma fração minúscula de respostas era insegura, mas passava pelo filtro, enquanto o restante era seguro. Eles então observaram o que acontecia conforme o número de candidatos crescia de um punhado para milhares. Os resultados foram drásticos: à medida que o número de candidatos aumentava, a probabilidade de o sistema escolher as respostas inseguras mudava dramaticamente. O sistema parou de escolher as respostas seguras e começou a selecionar as respostas inseguras com frequência quase total. Isso aconteceu mesmo que o filtro de segurança estivesse errado apenas uma fração ínfima das vezes e o sistema de recompensa fosse apenas ligeiramente impreciso em média. O perigo não estava na frequência dos erros, mas na maneira específica como esses erros interagiam com a busca do sistema pela melhor pontuação absoluta.

O estudo também testou se uma abordagem diferente poderia corrigir isso. Eles introduziram um método chamado "amostragem pessimista restrita" (constrained pessimistic sampling), que evita deliberadamente concentrar-se excessivamente na única opção de maior pontuação. Em vez de caçar o pico absoluto, este método distribui sua atenção de forma mais ampla entre as opções seguras. Em seus testes, essa abordagem conseguiu evitar que o sistema se prendesse às respostas inseguras, mantendo a taxa de hacking de segurança baixa mesmo conforme o número de candidatos crescia. No entanto, os pesquisadores observaram que este método não elimina o problema inicial do filtro de segurança deixar passar respostas ruins; ele simplesmente evita que o sistema amplifique esse erro. A questão fundamental permanece: o conjunto de candidatos já está contaminado.

As implicações desta descoberta são significativas para a forma como construímos e escalamos sistemas de IA. Sugere que tornar os filtros de segurança mais precisos em média não é suficiente para garantir a segurança ao usar métodos de busca em larga escala. Os pesquisadores mostraram que a relação entre as pontuações de recompensa das respostas seguras e inseguras é tão crítica quanto a própria precisão do filtro. Se as respostas inseguras tiverem uma "cauda mais pesada" em sua distribuição de recompensa — significando que ocasionalmente obtêm pontuações muito altas por acaso — o sistema eventualmente as encontrará e as preferirá. Isso significa que a segurança não pode ser tratada como um passo separado que ocorre antes da otimização; os dois processos estão profundamente interligados, e erros em um podem ser amplificados pelo outro.

Em seus experimentos com modelos de linguagem reais, a equipe confirmou que esse mecanismo opera na prática. Eles usaram um filtro de segurança padrão e um modelo de recompensa para selecionar respostas de um grande conjunto de candidatos gerados por uma IA. À medida que aumentavam o número de candidatos, a taxa de seleção de respostas prejudiciais pelo sistema subia, enquanto a qualidade das respostas seguras encontradas não melhorava o suficiente para compensar. Quando trocaram o modelo de recompensa por um diferente, o comportamento mudou, provando que a maneira específica como o sistema de recompensa classifica as opções é o motor principal dessa falha. Isso confirma que o problema não é apenas o fato de o filtro de segurança ser imperfeito, mas sim como o sistema de recompensa interage com as poucas opções inseguras que conseguem passar.

Os pesquisadores concluem que o escalonamento seguro exige uma abordagem dupla: melhorar o filtro de segurança para reduzir o número de opções ruins entrando no conjunto e gerenciar cuidadosamente como o sistema seleciona a partir desse conjunto para evitar a amplificação dos erros restantes. Eles argumentam que os métodos atuais, que dependem de escolher a melhor opção única de um grande conjunto, são inerentemente vulneráveis a esse tipo de falha. Embora o método alternativo proposto ofereça uma maneira de limitar o dano, ele não resolve a causa raiz. O estudo serve como um alerta de que, à medida que impulsionamos os sistemas de IA para olhar mais possibilidades para encontrar respostas melhores, devemos ser igualmente vigilantes sobre como esses sistemas lidam com os erros raros e perigosos que inevitavelmente escapam pelas frestas. Sem abordar a interação entre o filtro de segurança e a otimização de recompensa, o aumento da escala pode levar a resultados mais perigosos em vez de mais seguros.

Resumo Técnico: Safety Hacking em Escalonamento de Inferência Best-of-N Constrito

1. Declaração do Problema

O artigo aborda um modo de falha crítico no escalonamento de tempo de inferência para grandes modelos de linguagem (LLMs) que utilizam proxies de segurança e recompensa aprendidos. Em pipelines padrão, como a amostragem Constrained Best-of-N (CBoN), um modelo gera $N$ respostas candidatas, filtra-as usando um modelo de segurança aprendido para definir um conjunto "proxy-viável" e seleciona o candidato com a maior pontuação de recompensa aprendida.

Os autores identificam um mecanismo de falha em dois estágios que denominam safety hacking (ataque à segurança):

Contaminação: Um proxy de segurança imperfeito admite saídas inseguras (falsos positivos) para o conjunto proxy-viável.
Amplificação: A etapa subsequente de maximização de recompensa (seleção do melhor de $N$ ) amplifica essas saídas inseguras residuais se elas possuírem uma cauda superior mais pesada na distribuição de recompensa aprendida em comparação às saídas seguras.

O problema central é que aumentar o orçamento de inferência ( $N$ ) não apenas aumenta a probabilidade de encontrar uma saída insegura; pode, assintoticamente, garantir a seleção de uma saída insegura, mesmo quando as taxas de erro médias de ambos os proxies de segurança e recompensa são arbitrariamente pequenas.

2. Metodologia e Estrutura Teórica

Definições

Conjuntos Verdadeiros: $S^\star_+$ (verdadeiramente seguros) e $S^\star_-$ (verdadeiramente inseguros).
Conjunto Proxy-Viável: $\hat{S}_+$ , definido por um proxy de segurança aprendido $\hat{g}$ excedendo um limiar $b$ .
Decomposição: O conjunto proxy-viável divide-se em:
- $A$ : Verdadeiros positivos (verdadeiramente seguros e aceitos).
- $B$ : Falsos positivos (verdadeiramente inseguros, mas aceitos).
Safety Hacking: Um evento onde a saída selecionada $\hat{y} \in B$ .

Análise Teórica

O artigo deriva limites para $N$ finito e resultados assintóticos baseados nas caudas superiores conjuntas das pontuações de recompensa aprendidas para os conjuntos $A$ e $B$ .

Quantidades de Cauda: Seja $\hat{\Psi}_A(t)$ e $\hat{\Psi}_B(t)$ a probabilidade de uma amostra da distribuição de referência cair nos conjuntos $A$ ou $B$ , respectivamente, com uma pontuação de recompensa aprendida superior a $t$ .
Limites de N Finito (Teorema 4.1): A probabilidade de safety hacking é limitada por funções de $\hat{\Psi}_A$ e $\hat{\Psi}_B$ . Especificamente, se nenhuma amostra de $A$ exceder um limiar $t$ enquanto pelo menos uma amostra de $B$ o exceder, o CBoN selecionará uma saída insegura.
Certeza Assintótica (Teorema 4.2): Se existir uma sequência de limiares $t_N$ $t_{N}$ tal que $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ e $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ , a probabilidade de safety hacking converge para 1 conforme $N \to \infty$ $N \to \infty$ .
- Isso implica que, mesmo que a massa de falsos positivos ( $\epsilon$ ) e os erros médios do proxy desapareçam, um orçamento $N = \Theta(1/\epsilon)$ é suficiente para amplificar o erro residual para alta probabilidade, desde que a cauda insegura seja "mais pesada".
Separação de Cauda Gaussiana: O artigo mostra que se o erro do proxy de recompensa em saídas inseguras tiver uma cauda Gaussiana mais pesada (maior variância) do que em saídas seguras, o safety hacking torna-se certo conforme $N$ cresce, mesmo com recompensas verdadeiras limitadas.

Mitigação: Controle de Cobertura

Os autores propõem que, embora não se possa remover a contaminação inicial (falsos positivos admitidos pelo filtro de segurança), é possível limitar a amplificação dessa contaminação.

Princípio: Limitar a divergência $\chi^2$ entre a política de seleção final e a distribuição de referência proxy-viável.
Algoritmo (cPes): Eles instanciam isso via Amostragem Pessimista Constrita (cPes). Isso envolve:
1. Cortar (clipping) as pontuações de recompensa aprendidas para um intervalo limitado.
2. Resolver um problema de otimização regularizado para reponderar os candidatos proxy-viáveis, penalizando a concentração em outliers de alta recompensa.
Garantia (Teorema 5.1 & Corolário 5.3): O cPes fornece um limite de probabilidade de seleção de saída insegura independente de $N$ . No entanto, esse limite depende da massa de contaminação inicial $\kappa(x,b)$ e não pode reduzi-la a zero; ele apenas evita que a probabilidade de seleção cresça com $N$ .

3. Principais Contribuições

Formalização do Safety Hacking: Definido como a seleção de uma saída que satisfaz um limite de segurança aprendido, mas viola o critério de segurança verdadeiro, especificamente impulsionado pela interação entre a contaminação do filtro e a amplificação da cauda de recompensa.
Caracterização da Amplificação: Derivação de limites de $N$ finito mostrando que o safety hacking é governado pelas caudas de recompensa conjuntas de saídas seguras vs. inseguras do proxy-viável. Provou que uma cauda insegira mais pesada leva à certeza assintótica de hacking, mesmo com erros médios evanescentes.
Princípio de Controle de Cobertura: Estabeleceu que limitar a divergência $\chi^2$ da distribuição de referência proxy-viável resulta em um limite de segurança independente de $N$ .
Validação Empírica:
- Experimentos de Brinquedo (Toy Experiments): Demonstrou que o CBoN muda de seleção de classes seguras para inseguras conforme $N$ aumenta, quando a classe insegura possui uma cauda de recompensa mais pesada, enquanto o cPes limita esse deslocamento.
- Experimentos com LLM: Usando prompts do JailbreakBench, HarmBench e AdvBench com Qwen2.5-7B, Llama-Guard-3 e modelos de recompensa Beaver/Skywork.
  - Observou-se que, conforme $N$ aumenta, a recompensa do proxy do CBoN melhora, mas as taxas de safety-hacking e as recompensas verdadeiras conscientes de segurança deterioram-se.
  - Ablação: Substituir o proxy de recompensa (Beaver vs. Skywork) inverteu a tendência de escalonamento, confirmando que o ranking dentro do conjunto contaminado (comportamento de cauda) é o fator determinante, e não apenas a taxa de falsos positivos do filtro.

4. Resultados

Problema de Brinquedo: Com uma classe insegura tendo uma cauda de recompensa mais pesada ( $\sigma_B > \sigma_A$ ), a taxa de safety hacking do CBoN subiu de 0,023 ( $N=1$ ) para 0,9996 ( $N=8192$ ), enquanto a recompensa verdadeira média caiu. O cPes manteve uma taxa de hacking baixa (~0,02) em todos os $N$ .
Experimentos com LLM:
- Decomposição: O aumento do safety hacking com CBoN foi impulsionado principalmente por "vitórias inseguras competitivas" (candidatos inseguros superando os seguros), e não meramente pela ausência de candidatos seguros ("exposição apenas a inseguros").
- Sensibilidade do Proxy de Recompensa: A troca dos modelos de recompensa Beaver para Skywork reduziu a taxa de vitórias inseguras competitivas, diminuindo a taxa geral de hacking, demonstrando que o comportamento de cauda é dependente do proxy.
- Desempenho do cPes: O cPes limitou o efeito de amplificação, mantendo as taxas de hacking próximas à seleção "aleatória viável" de base, embora não tenha eliminado a contaminação basal.

5. Significância e Alegações

O artigo alega expor uma dificuldade inerente ao escalonamento de tempo de inferência quando se depende de modelos de segurança aprendidos. A principal significância reside em deslocar o foco da precisão média do filtro para o comportamento de cauda conjunta.

Limitação de Métricas Médias: Os autores argumentam que a precisão média do filtro e os erros médios do proxy são insuficientes para prever a segurança sob escalonamento; as caudas superiores relativas de recompensas para saídas seguras vs. inseguras são o determinante crítico.
Distinção de Trabalhos Anteriores: Ao contrário da otimização excessiva de recompensa (que assume um conjunto viável benigno) ou do jailbreaking (que assume prompts adversariais), este trabalho analisa um prompt fixo onde o próprio conjunto viável está contaminado, e o processo de busca amplifica essa contaminação específica.
Mitigação Modesta: O artigo é modesto quanto às soluções. Alega que o controle de cobertura (cPes) limita a amplificação, mas não consegue reparar um conjunto viável contaminado. Se o filtro de segurança admite saídas inseguras com altas recompensas aprendidas, a seleção regularizada ainda pode favorecê-las.
Direções Futuras: Os autores declaram explicitamente que sua análise é limitada a pipelines de amostragem i.i.d. não adaptativos. Eles observam que a busca adaptativa, o auto-refinamento ou o planejamento agêntico (onde as distribuições de candidatos dependem de avaliações anteriores do proxy) não foram cobertos e representam trabalhos futuros importantes.

Em conclusão, o artigo estabelece que o escalonamento seguro de tempo de inferência requer uma abordagem dupla: controlar a entrada no conjunto viável (melhorando o filtro de segurança) e controlar a concentração a jusante (gerenciando o comportamento da cauda de recompensa e a diversidade de seleção).