🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

Este artigo revela que, à medida que os modelos de linguagem escalam, eles entram cada vez mais em um "regime de risco autorregressivo" autoperpetuável, onde erros de tokens de baixa probabilidade desencadeiam alucinações confiantes e em efeito de bola de neve que persistem por mais tempo do que os próprios sinais de incerteza do modelo conseguem detectar, fazendo com que, em última análise, modelos maiores compostam erros mais rapidamente apesar de ganharem capacidade geral.

Autores originais: Kushal Chakrabarti

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kushal Chakrabarti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Paradoxo da IA: Por que Maior nem Sempre é Melhor

Imagine que você está ensinando um robô a contar histórias. No mundo da inteligência artificial, existe uma crença de longa data de que, se você apenas der ao robô mais poder cerebral, mais livros para ler e mais tempo para estudar, ele eventualmente se tornará perfeito. Essa ideia é chamada de "escalonamento" (scaling): quanto maior o modelo, mais inteligente ele fica. Mas há um problema. Quando esses robôs escrevem histórias longas, eles não apenas melhoram; às vezes, eles ficam piores em manter a veracidade à medida que a história avança. Eles podem começar com um fato perfeito, mas depois acidentalmente inventam uma mentira e, como estão tão confiantes nessa mentira, constroem o resto da história sobre ela, criando uma bola de neve de nonsense.

Para entender por que isso acontece, precisamos observar como esses robôs "pensam". Eles não conhecem fatos como nós; eles preveem a próxima palavra em uma frase com base em padrões que viram antes. Cientistas descobriram que, quando um robô comete um erro, não é sempre porque ele não sabe a resposta. Às vezes, ele sabe a resposta, mas adivinha errado mesmo assim. Uma vez que faz essa escolha errada, ele a trata como um fato para a próxima frase. Isso é chamado de "autorregressão": o robô alimenta sua própria saída de volta para si mesmo. A grande questão que os pesquisadores estão fazendo é: Por que esse erro de criação piora conforme os robôs ficam maiores, e por que os robôs nem sequer conseguem perceber que estão mentindo?

A Grande Descoberta do Artigo: A Bola de Neve Invisível

Este artigo, escrito por Kushal Chakrabarti, inverte a lógica de como pensamos sobre a confiabilidade da IA. A principal descoberta é um pouco contraintuitiva: À medida que os modelos de IA ficam maiores, eles não apenas ficam mais inteligentes; eles também ficam melhores em cometer erros que se acumulam mais rápido.

Pense em um modelo de IA como um estudante fazendo uma prova longa e de várias partes.

A Ideia Antiga: A teoria da "Lacuna de Conhecimento" diz que, se um aluno erra uma questão, é porque ele não estudou o suficiente. A solução? Dar a ele uma biblioteca maior (mais dados) e um cérebro maior (mais parâmetros).
A Nova Descoberta: Este artigo argumenta que, para estudantes muito inteligentes (modelos grandes), o problema não é que eles não conheçam os fatos. É que, uma vez que fazem um palpite minúsculo e confiante que acaba sendo errado, eles ficam presos em um "regime de risco". Eles se comprometem com esse palpite errado e, como estão tão confiantes, não percebem que estão errados. Eles então usam esse palpite errado para responder à próxima questão, o que leva a outro palpite errado, e assim por diante. Quanto maior o estudante, mais rápido essa bola de neve de mentiras cresce.

O "Risco" Que Você Não Sente

Para explicar isso, os autores usam um truque matemático inteligente para dividir a "incerteza" da IA em duas partes:

Incerteza Sentida: É o quão nervoso o IA se sente. Se está adivinhando, sente-se inquieto. Se está seguro, sente-se calmo.
Risco de Comprometimento: Este é o perigo oculto. É a lacuna entre o que a IA acha que é certo e o que um "oráculo superinteligente" (um modelo de referência perfeito) sabe que é certo.

Aqui está a parte assustadora: A IA só consegue sentir o próprio nervosismo. Ela não consegue sentir o "Risco de Comprometimento".

Imagine que você está andando em uma ponte.

Incerteza Sentida é como seus joelhos tremem.
Risco de Comprometimento é a distância real da ponte até o chão.

Quando a IA comete um erro (uma "fabricação"), seus "joelhos" (incerteza sentida) param de tremer quase imediatamente. Ela se sente calma e confiante novamente. Mas a ponte ainda está longe do chão! O "Risco de Comprometimento" permanece alto por um longo tempo. Como a IA se sente calma, ela não sabe que ainda está em perigo. Ela continua andando confiantemente direto para a borda, criando uma cadeia de mentiras.

O Efeito "Bola de Neve"

O artigo mostra que isso não é apenas um erro isolado. Uma vez que a IA começa a mentir, ela torna 1,08 a 1,71 vezes mais provável de mentir novamente na frase seguinte.

Modelos Pequenos: Eles cometem erros, mas nem sempre os encadeiam perfeitamente.
Modelos Grandes: São tão bons em prever a próxima palavra que, uma vez que escolhem um caminho errado, travam nele com superconfiança. Eles não cometem apenas um erro; eles cometem uma cadeia de erros.

Os autores descobriram que, conforme os modelos escalam (ficam maiores), a "lacuna de conhecimento" (o quanto eles não sabem) diminui cerca de 6 vezes. Mas a "degradação do conhecimento" (o quão rápido eles desmoronam uma vez que começam a mentir) torna-se de 11 a 39 vezes pior. Em outras palavras, modelos maiores são melhores em começar uma história corretamente, mas são terríveis em terminá-la sem inventar nonsense.

Por Que a IA Não Consegue se Autocorrigir?

Você pode perguntar: "Por que a IA não revisa seu próprio trabalho?". O artigo revela um ponto cego. A maioria das ferramentas atuais que tentam detectar mentiras da IA olha para o quão "nervosa" a IA está (sua incerteza sentida).

O Problema: Quando a IA começa uma mentira, ela fica nervosa por um breve segundo e depois relaxa. As ferramentas de detecção veem o relaxamento e pensam: "Ah, ela está calma, então deve estar dizendo a verdade!".
A Realidade: A IA está calma, mas ainda está na "zona de perigo" (alto risco). As ferramentas perdem a mentira porque estão procurando pelo nervosismo, não pelo risco oculto. O artigo mostra que esses detectores disparam 30% menos vezes no ramo arriscado onde as mentiras acontecem, embora esse ramo contenha quase 4 vezes mais fabricações do que o erro inicial.

A "Solução Mágica" (E o Que Ela Prova)

Para provar que este "risco oculto" é o verdadeiro vilão, os autores realizaram uma simulação. Eles pegaram um modelo que estava prestes a cometer um erro e forçaram artificialmente que ele fosse menos "arriscado", sem alterar o que ele achava ser verdade.

O Resultado: Quando eles eliminaram esse risco oculto, o número de mentiras caiu de 35% a 74% em diferentes tipos de modelos.
O Que Isso Significa: Isso prova que o problema não é que a IA não conhece os fatos. É que a IA fica presa em um estado onde está confiante, mas errada, e esse estado faz com que os erros se acumulem.

A Conclusão

Este artigo sugere que simplesmente tornar os modelos de IA maiores não resolverá o problema das mentiras. Na verdade, modelos maiores podem ser mais propensos a essas mentiras de "bola de neve" porque ficam confiantes rápido demais. A solução não é apenas mais dados; é encontrar uma maneira de detectar esse "Risco de Comprometimento" oculto antes que a IA se tranque em uma mentira. Até que possamos ver que a ponte está longe do chão, mesmo a IA mais inteligente pode caminhar confiantemente direto para o abismo.

Resumo Técnico: A Confiabilidade Escala Inversamente

Declaração do Problema

A visão predominante sobre a alucinação em Grandes Modelos de Linguagem (LLMs) trata-a como uma "lacuna de conhecimento" — um déficit de informação que o escalonamento, a recuperação ou dados adicionais podem preencher. Este artigo contesta essa explicação, argumentando que, embora o escalonamento melhore o conhecimento inicial (reduzindo a "lacuna de conhecimento"), ele simultaneamente corrói a confiabilidade ao amplificar um modo de falha distinto: o risco autorregressivo.

O problema central é que, à medida que os modelos escalam, eles não se tornam apenas mais precisos; eles se tornam mais propensos a um tipo específico de erro composto. Quando um modelo se compromete com um token de baixa probabilidade e sem suporte (uma fabricação), ele condiciona as gerações subsequentes a esse erro. Esse processo converte a variância transitória de amostragem em um viés persistente. Crucialmente, este modo de falha é estruturalmente invisível para os próprios mecanismos de automonitoramento do modelo, que dependem da distribuição de probabilidade interna do modelo ( $p_M$ ) em vez de um oráculo externo.

Metodologia

Os autores introduzem um framework teórico baseado em uma variável de discordância ( $\delta$ ) definida como a razão de log-verossimilhança entre a distribuição do modelo ( $p_M$ ) e um oráculo mais forte da mesma família ( $p_O$ ):
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

O segundo momento desta variável, $E[\delta^2]$ , é decomposto em dois componentes distintos:

Viés ( $Bias^2$ ): O quadrado da média, $KL(p_M \| p_O)^2$ , representando a lacuna sistemática entre o modelo e o oráculo.
Risco ( $Var[\delta]$ ): A variância da discordância, representando a dispersão de como o oráculo pondera os candidatos que o modelo considera.

O artigo utiliza três abordagens experimentais primárias através de múltiplas famílias de modelos (Qwen3, OLMo-3, Llama-3) e escalas (0.6B a 32B):

Análise de Escalonamento: Medindo a "lacuna de conhecimento" (taxa inicial de alucinação) versus a "degradação de conhecimento" (a taxa de aumento da alucinação ao longo da extensão de uma resposta) usando os benchmarks FActScore e LongFact++.
Dinâmicas de Onset (Início): Analisando o comportamento temporal de $\delta$ , seus momentos e a incerteza sentida pelo modelo ( $H(p_M)$ ) imediatamente após o início de uma fabricação.
Intervenção Causal (Knockout In Silico): Implementando um mecanismo de "contração de risco". Nos passos onde o modelo diverge do oráculo, a distribuição de próximo token do modelo é modificada para reduzir a variância de $\delta$ enquanto preserva estritamente a média (divergência KL). Isso isola o efeito causal do risco em relação ao viés.

Principais Contribuições

1. A Decomposição do Erro

O artigo estabelece que a alucinação não é apenas uma função da lacuna de conhecimento (viés). Ele identifica o Risco ( $Var[\delta]$ ) como um termo de erro dominante e distinto. Enquanto o escalonamento reduz o viés (o modelo fica mais próximo do oráculo em média), ele falha em reduzir o risco (a dispersão da discordância), que na verdade se torna uma parcela maior do erro total conforme os modelos crescem.

2. A Assimetria de Persistência

Uma descoberta crítica é a divergência entre a "incerteza sentida" e o "risco referenciado pelo oráculo" após uma fabricação:

Incerteza Sentida ( $H(p_M)$ ): A incerteza interna do modelo dispara no momento da fabricação, mas relaxa rapidamente (dentro de ~0.3 tokens) conforme a geração se torna fluente.
Risco Referenciado pelo Oráculo ( $Var[\delta]$ ): O risco associado ao erro cometido persiste por significativamente mais tempo (3.5–5.0 tokens).
Isso cria um regime "confiante, porém precário", onde o modelo sente certeza, mas está estatisticamente divergente da verdade, um estado que os detectores de automonitoramento não conseguem detectar porque leem apenas $H(p_M)$ .

3. Conversão Autorregressiva e Efeito Bola de Neve

O artigo demonstra que a autorregressão atua como uma máquina que converte este risco persistente em viés fixo. Uma vez que o modelo amostra um token não suportado, o risco colapsa em uma lacuna fixa que é herdada por todos os tokens subsequentes. Isso leva ao erro composto: o risco relativo de uma fabricação subsequente aumenta monotonicamente com a escala (de 1.08× a 1.71×), o que significa que modelos maiores têm maior probabilidade de encadear alucinações.

4. Cegueira Estrutural do Automonitoramento

Detectores baseados apenas na distribuição do modelo ( $p_M$ ), como Semantic Entropy ou SelfCheckGPT, são estruturalmente cegos a este regime de risco. O artigo mostra que esses detectores disparam significativamente menos (aproximadamente 30% menos) nos tokens de "ponte" entre as fabricações, apesar de esses tokens carregarem quase 4× mais alucinações do que os tokens de início. Os detectores perdem o ramo "precário" porque a incerteza interna do modelo já relaxou.

Principais Resultados

Escalonamento Inverso da Confiabilidade: Em todas as famílias de modelos, o escalonamento reduz a lacuna de conhecimento inicial em 5.7–7.0×, mas aumenta a degradação de conhecimento (a taxa de acumulação de erro) em 11–39×. Capacidade e confiabilidade são mostradas como eixos de escalonamento distintos.
Dominância do Risco: À medida que os modelos escalam, a parcela do erro atribuída ao risco (variância) aumenta de 31% para 49% do erro quadrático total. A cauda da distribuição de discordância também se torna mais pesada (a curtose excessiva sobe de 8.9 para 33.0).
Redução Causal de Alucinação: Ao aplicar a intervenção de contração de risco (reduzindo a variância enquanto mantém o viés constante), os autores reduziram causalmente as alucinações verificadas via web em 35–74% em três famílias de modelos. Isso confirma que o fator de composição é a variância, não o conhecimento.
Falha do Detector: Descobriu-se que os detectores de entropia semântica são significativamente menos sensíveis ao regime de "ponte" (o estado entre fabricações) em comparação ao início, com significância estatística ( $p < 10^{-16}$ ).

Significância e Alegações

O artigo afirma redefinir a compreensão da alucinação em LLMs de um déficit estático de conhecimento para um regime de risco dinâmico e autoperpetuante. Sua principal significância reside em:

Causalidade Mecanística: Fornecer a primeira evidência causal on-policy de que a contração da variância do gap entre modelo e oráculo (sem alterar a média) reduz diretamente a alucinação, provando que o "risco" é o motor dos erros compostos.
Os Limites do Escalonamento: Demonstrar que simplesmente escalar modelos não resolve a confiabilidade; de fato, modelos maiores podem ser mais suscetíveis a tipos específicos de erros compostos devido ao estreitamento da cauda de risco.
O Ponto Cego: Destacar que as técnicas atuais de automonitoramento são fundamentalmente limitadas porque não conseguem "enxergar" o termo de risco ( $Var[\delta]$ ), que é o próprio mecanismo que impulsiona as fabricações subsequentes.

Os autores concluem que a confiabilidade é um eixo de escalonamento separado que requer novas intervenções visando a variância do compromisso do modelo, em vez de apenas melhorar o conhecimento médio ou confiar na incerteza autorrelatada. O modo de falha dominante é descrito como "invisível para o próprio modelo", necessitando de sinais externos ou de "caixa branca" para mitigação eficaz.