💬 NLP

Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution

Este artigo revela que modelos de linguagem de grande escala suavemente comprimidos podem passar por todos os padrões de salvaguardas de qualidade e fidelidade sem dados, enquanto ainda alucinam etapas procedimentais durante a execução agêntica, um modo de falha específico impulsionado pela coerência dos erros de compressão em vez de sua magnitude, o que requer uma nova métrica de triagem de dois eixos para detecção.

Autores originais: I. Kennedy, T. Kennedy

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: I. Kennedy, T. Kennedy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando encolher um livro de receitas enorme e complexo para que ele caiba em um pequeno caderno de bolso. Você quer que o livro seja pequeno o suficiente para carregar em qualquer lugar, mas ainda precisa cozinhar exatamente as mesmas refeições deliciosas. No mundo da inteligência artificial, esse "encolhimento" é chamado de compressão. Modelos de linguagem de grande escala (os cérebros de IA superinteligentes que escrevem código, contam histórias e conversam conosco) são enormes, então os engenheiros usam truques como quantização (simplificando os números internos), poda (pruning — cortando conexões não utilizadas) e fatoração de baixo posto (low-rank factorization — encontrando um esqueleto matemático mais simples) para torná-los menores e mais rápidos.

Mas como você sabe se o livro encolhido ainda funciona? Você não pode provar cada uma das refeições que ele cozinha. Em vez disso, você usa "guardiões de qualidade". Você verifica se a IA ainda entende a gramática básica (perplexidade), se ela consegue responder perguntas de conhecimentos gerais corretamente (como o MMLU) e se seus "pensamentos" internos ainda parecem semelhantes ao céreão gigante original quando você a cutuca com perguntas aleatórias. Essas verificações são rápidas e não exigem novos dados. A grande questão é: será que esses guardiões são suficientes para provar que a IA é segura para ser enviada ao mundo real para realizar tarefas? Este artigo mergulha em uma possibilidade assustadora: e se a IA passar em todos os testes, mas começar a inventar regras quando tenta seguir um procedimento?

O Grande Assalto à "Invenção"

Os autores deste artigo descobriram um ponto cego oculto na forma como testamos a IA comprimida. Eles descobriram que um modelo de IA pode passar em todos os testes de segurança padrão, parecer perfeito no papel e, depois, ao ser solicitado a agir como um agente (um trabalhador digital seguindo um conjunto estrito de instruções), começar a inventar etapas que nunca estavam nas instruções.

Pense nisso como um aluno que passa em uma prova de matemática com louvor, mas, quando lhe pedem para seguir uma receita de bolo, decide adicionar "uma pitada de glitter" porque acha que soa legal. O aluno não falhou na prova de matemática; ele apenas falhou na tarefa específica de seguir ordens exatamente.

Os pesquisadores testaram isso em três famílias diferentes de modelos de IA (Mistral, Qwen e Llama). Eles pegaram modelos que haviam sido "gentilmente comprimidos" usando um método chamado SVD (um tipo de fatoração de baixo posto). Esses modelos estavam tão bem comprimidos que passaram pelo "guardião de perplexidade" (seu nível de confusão foi apenas 1,069 a 1,17 vezes maior que o original, dentro do limite seguro de 1,15) e pelo "guardião de fidelidade" (seus pensamentos internos coincidiam com os do original).

Mas, quando pediram a esses modelos para agir como agentes e seguir um Procedimento Operacional Padrão (POP) — como um checklist para consertar um servidor ou processar um pedido — os modelos começaram a confabular. Eles adicionaram etapas extras que não existiam.

No modelo Mistral-7B, a versão comprimida inventou uma média de +1,729 etapas extras por consulta.
No modelo Qwen3-8B, ele inventou +0,208 etapas extras.
No modelo Llama-3.1-8B, a versão "gentilmente comprimida" permaneceu no piso de ruído (inventando apenas +0,056 etapas, o que significa que o teste foi não diagnóstico para este build específico). O espectro interno do modelo simplesmente não tinha "espaço de manobra de baixo posto" suficiente para desencadear o efeito de invenção enquanto permanecia dentro do limite de segurança. A falha só apareceu quando o modelo Llama foi comprimido de forma mais agressiva, ultrapassando o padrão de segurança.

A parte assustadora? Os modelos que fizeram isso foram aqueles que passaram no teste de "fidelidade". O teste dizia: "Ei, seu cérebro é igual ao original!" Mas a realidade era: "Na verdade, seu cérebro agora está alucinando novas regras."

O Culpado: Coerência, Não Dano

Por que isso aconteceu? Os autores descobriram que não se tratava de quanto o modelo foi danificado (a "magnitude" do erro). Eles compararam a compressão "SVD" com a poda por magnitude (magnitude pruning — cortando os menores números).

Quando eles igualaram os dois métodos para que causassem o exato mesmo nível de confusão (perplexidade), os resultados foram drasticamente diferentes:

O modelo SVD (que cria um erro "coerente", como uma distorção suave e estruturada) falhou no teste, inventando etapas.
O modelo de Poda (que cria um erro "desordenado", incoerente, como estática aleatória) passou no teste, inventando quase nada (cerca de -0,146 etapas, o que é efetivamente zero).

Os autores perceberam que o problema não é o tamanho do erro, mas o formato dele. Eles chamam isso de mecanismo "Coerência × Taxa":

Coerência: O erro é estruturado e suave (como um SVD de baixo posto).
Taxa: O quanto do modelo é afetado.

Se você tem um erro suave e estruturado que é grande o suficiente para passar despercebido pelos testes padrão, a IA começa a "alucinar" novas etapas de procedimentos. É como se a distorção suave enganasse a IA, fazendo-a pensar que conhece um atalho que não existe. O "dano" (perplexidade) não previu isso; a "suavidade" do dano o fez.

O "Canário" e o Novo Detector

Para provar isso, os pesquisadores construíram um teste especial que chamam de "canário". É como um canário na mina de carvão. Eles deram à IA um POP falso com 10 etapas e uma 11ª etapa condicional, e depois pediram que ela listasse as etapas. Se a IA listasse uma etapa que não estava nas instruções, ela falhava.

Eles descobriram que os mesmos pesos de IA que venceram o teste de "fidelidade" padrão (provando que pareciam com o original) perderam o "teste do canário" (provando que estavam inventando etapas). Isso é uma "dissociação": os testes padrão são cegos para esse tipo específico de falha.

Mas os autores não pararam apenas em encontrar o problema; eles construíram um detector livre de dados para capturá-lo antes da implantação. Eles perceberam que poderiam medir duas coisas sem precisar de novos dados:

Fração Coerente: O quanto do erro é "suave" e estruturado?
Taxa de Erro: Qual o tamanho do erro no geral?

Eles criaram um "portão" simples (uma verificação de passar/falhar):

Se Fração Coerente > 0,007 E Taxa de Erro > 0,01, o modelo é FALHA.
Se não atender a ambos, é PASSAR.

Este portão identificou corretamente todos os modelos que falharam em seus testes. Por exemplo, o modelo Mistral que inventou etapas tinha uma fração coerente de 0,0080 e uma taxa de erro de 0,0159, disparando o alarme. O modelo de poda que era seguro tinha uma fração coerente de 0,0054, passando despercebido pela verificação de "coerência" e sendo aprovado.

A Conclusão

O artigo conclui que a Perplexidade, MMLU e verificações de fidelidade livres de dados não são suficientes para certificar que uma IA é segura para trabalho de agente. Só porque uma IA passa nos "exames escolares" padrão, não significa que ela não inventará regras quando estiver no trabalho.

Os autores sugerem que, antes de implantar uma IA comprimida para atuar como um agente (realizando tarefas, seguindo procedimentos), devemos executar esta nova "triagem de coerência". Se um modelo for "gentilmente comprimido" usando métodos de baixo posto (SVD) e disparar este novo portão, é provável que ele invente etapas e falhe ao seguir instruções, mesmo que pareça perfeito em todos os outros testes.

Em resumo: Não confie na IA apenas porque ela passou no teste. Verifique se ela está "suavemente" quebrada, pois é aí que ela começa a inventar coisas.

Resumo Técnico: Fidelidade Não é Segurança

Declaração do Problema

Praticantes atualmente implantam Grandes Modelos de Linguagem (LLMs) comprimidos baseados em um "stack" padronizado de salvaguardas de qualidade de baixo custo de dados. Essas salvaguardas incluem tipicamente:

Perplexidade: Deve permanecer dentro de um fator pequeno (ex: $\le 1,15\times$ ) do modelo original.
Acurácia de Downstream: Métricas como MMLU devem cair dentro de um intervalo de confiança do baseline.
Fidelidade Livre de Dados: Sinais de representação interna (ex: CKA ou similaridade de cosseno de ativações sob inputs de sondagem aleatórios) comparando as redes comprimida e original.

O artigo identifica um ponto cego crítico nestes critérios de aceitação. Modelos que passam por todas essas salvaguardas ainda podem exibir uma falha comportamental agêntica específica: ao serem incumbidos de executar um Procedimento Operacional Padrão (SOP), eles "inventam" etapas procedimentais que nunca estiveram presentes nas instruções. Essa "confabulação de procedimento" representa um risco de segurança para implantação agêntica e, no entanto, permanece indetectada pelas métricas atuais de fidelidade e acurácia.

Metodologia

Configuração Experimental: O "Canário de Etapa Inventada"

Para detectar este modo de falha, os autores construíram um benchmark de avaliação sintética (o "canário"):

Tarefa: Os modelos recebem um SOP alvo (10 etapas ordenadas + 1 etapa condicional) e um SOP distrator. Eles devem enumerar as etapas exatas sob condições específicas do sistema.
Métrica: O eixo decisivo é a invenção de procedimento cruzado ( $invented\_x$ ), definida como a contagem de strings de etapas extraídas do vocabulário global de SOP que aparecem no output, mas pertencem nem ao SOP alvo, nem à lógica condicional.
Escala: Pré-registrada em 24 SOPs e 3 sementes aleatórias, gerando 144 eventos pareados por braço experimental.

Operadores de Compressão

O estudo compara técnicas de compressão em doses de perplexidade correspondentes para isolar a causa da falha:

Truncamento de Baixo Posto Coerente (SVD): Truncamento de Decomposição de Valor Singular por tensor.
Poda de Magnitude Incoerente: Poda uniforme sem redimensionamento.
Quantização: Utilizada como controle de dose para análise de mecanismo.

Modelos Avaliados

Três arquiteturas de decodificador denso (7–8B parâmetros):

Qwen3-8B
Mistral-7B
Llama-3.1-8B

Principais Descobertas e Resultados

1. O Ponto Cego e a Dissociação

Evasão de Salvaguarda: Modelos SVD suavemente comprimidos frequentemente situam-se bem dentro da banda de aceitação de perplexidade (ex: $1,069\times$ para Mistral-7B), mas falham no canário ao inventar um número significativo de etapas (ex: $+1,729$ etapas/query).
Especificidade do Operador: Em perplexidade correspondente, o truncamento coerente de SVD induz a falha, enquanto a poda de magnitude incoerente (pareada para a mesma perplexidade) não o faz. Modelos de poda inventam etapas próximas de zero ( $\approx 0$ ).
Dissociação: Os mesmos pesos comprimidos que vencem o CI (ganham no intervalo de confiança) em um teste de fidelidade de saída pareado (provando que as representações internas são preservadas), falham no CI no canário de etapas inventadas. Isso demonstra que a fidelidade às representações internas não garante a segurança na execução agêntica.

2. O Mecanismo: Coerência $\times$ Taxa

A falha não é impulsionada pela magnitude do dano (aumento de perplexidade), mas pela coerência do erro de compressão multiplicada por sua taxa.

Coerência: Erros de SVD são estruturados/de baixo posto; erros de poda são não estruturados.
Taxa: O efeito escala com a taxa de erro.
Evidência: Controles de quantização que carregam mais dano de perplexidade bruta do que a dose de SVD que falhou, ainda passam no canário, enquanto o SVD falha mesmo em doses baixas. O início da falha ocorre cedo (dent dentro de 2% da dose de perplexidade) e é distribuído em vez de localizado.
Condição de Espectro: O ponto cego é condicional ao espectro. Ele se manifesta onde o modelo admite o suficiente "headroom de baixo posto in-guard" (ex: Qwen e Mistral). O Llama-3.1-8B possui pouco tal headroom; seu truncamento de SVD faz com que a perplexidade desabe antes do início da invenção, o que significa que a salvaguarda de perplexidade captura acidentalmente a construção tóxica.

3. Um Detector Livre de Dados

Os autores propõem uma estatística de dois eixos derivada do erro de compressão ( $\Delta W = W_{base} - W_{mod}$ ) para rastrear esta falha sem dados rotulados:

Fração Coerente: A razão entre a energia de erro de baixo posto/estruturada e a energia total de erro.
$\text{fração\_coerente} = \frac{\sum_t \sigma^2_{1:k}(\Delta W_t)}{\sum_t \|\Delta W_t\|_F^2}$
Taxa de Erro: A razão entre a energia total de erro e a energia total de peso.
$\text{taxa\_de\_erro} = \frac{\sum_t \|\Delta W_t\|_F^2}{\sum_t \|\Delta W_t\|_F^2}$

Resultado: Um portão definido por $\text{fração\_coerente} > 0,007 \land \text{taxa\_de\_erro} > 0,01$ classifica corretamente todos os seis braços de canário rotulados através das três arquiteturas. Ele distingue com sucesso entre builds "coerentes-mas-suaves" (que passam) e builds de poda "incoerentes-mas-pesadas" (que passam), enquanto sinaliza as builds de SVD tóxicas.

Significância e Alegações

O artigo afirma que a perplexidade, o MMLU e a fidelidade de dados livres não certificam a segurança agêntica.

Lei de Goodhart: O estudo instancia a lei de Goodhart na compressão de LLM: uma vez que um proxy (perplexidade, MMLU ou sonda de fidelidade) torna-se o alvo de aceitação, um build pode satisfazer a ele enquanto falha no objetivo real de execução fiel de procedimentos.
Risco Específico do Operador: O risco está ligado ao tipo de compressão (baixo posto coerente vs. poda incoerente) e não apenas à queda de acurácia.
Triagem Acionável: A triagem proposta com dois eixos converte um achado de cautela em um check de pré-voo implantável. Os autores afirmam que um build de baixo posto fatorizado que passa nesta triagem é "seguro para agentes neste eixo", enquanto um que a aciona não é.
Modéstia de Escopo: Os autores explicitamente limitam suas alegações:
- Os limiares do detector são ilustrativos e ajustados aos modelos densos de 7–8B testados; eles não pretendem resolver sutilezas dentro da quantização.
- As taxas de "invenção" são instrumentais (SOPs sintéticos), mas o contraste entre operadores (SVD vs. Poda) é o achado robusto.
- O modo de falha é condicional ao espectro (dependente do headroom espectral), embora o mecanismo do operador seja geral à arquitetura.
- Eles não alegam que esta falha esgota todos os riscos comportamentais agênticos, apenas que o stack atual de salvaguardas perde este erro específico.

Em conclusão, o artigo argumenta que até que uma triagem como a métrica de coerência-taxa proposta se torne padrão, a aceitação de compressão e a implantação de agentes devem ser tratadas como portões separados.