🤖 machine learning

Language models suffer from a curse of ambiguity

Este artigo identifica e analisa teoricamente uma "maldição da ambiguidade" em modelos de linguagem de grande escala, demonstrando que distribuições de próximo token ambíguas são inerentemente mais difíceis de aprender com precisão devido ao aumento nos requisitos de capacidade, tamanhos de embedding, etapas de treinamento e ruído de amostragem amplificado, um achado validado por meio de experimentos sintéticos e do mundo real.

Autores originais: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Computadores modernos que escrevem e falam são construídos sobre uma ideia simples e poderosa: eles preveem a próxima palavra em uma frase observando as palavras que vieram antes. Esse processo acontece uma palavra por vez, como uma pessoa pensando em uma história, escolhendo o próximo passo mais provável com base no que já foi dito. Por anos, engenheiros focaram em tornar essas máquinas melhores em encontrar a resposta única e mais óbvia. Mas, à medida que esses sistemas se tornam mais avançados, eles são cada vez mais solicitados a lidar com situações onde não existe uma única resposta óbvia. Quando uma frase pode terminar de muitas maneiras diferentes e igualmente razoáveis, a máquina deve aprender a distribuir sua confiança entre todas essas possibilidades, não apenas escolher a principal. Essa capacidade de entender a incerteza está se tornando crítica, especialmente à medida que essas máquinas começam a escrever os dados de treinamento para suas próprias versões futuras. Se elas falharem em capturar toda a gama de possibilidades, correm o risco de criar um ciclo estreito e repetitivo que degrada a qualidade de seu próprio aprendizado.

Uma equipe de pesquisadores da Universidade de Stanford descobriu uma barreira fundamental que torna essa tarefa surpreendentemente difícil. Eles descobriram que, quanto mais ambígua é uma situação — ou seja, quanto mais plausíveis são as próximas palavras — mais difícil é para a máquina aprender a distribuição correta de probabilidades. Eles chamam isso de "maldição da ambiguidade". Não é apenas uma questão de a máquina ser ligeiramente mais lenta ou precisar de mais dados; a dificuldade está intrínseca na própria arquitetura das redes neurais que alimentam esses modelos. Os pesquisadores mostraram que, conforme o número de respostas corretas possíveis aumenta, a máquina requer significativamente mais espaço de armazenamento interno, representações internas de palavras maiores e muito mais etapas de treinamento para acertar a matemática. Mesmo quando a máquina finalmente aprende, o processo de escolher uma única palavra entre as muitas possibilidades introduz um tipo de ruído que impede que ela coincida perfeitamente com a verdadeira distribuição da linguagem.

Para entender por que isso acontece, a equipe decompôs o problema em suas menores partes. Eles trataram a camada final de tomada de decisão da máquina como um classificador simples que mapeia um contexto a um conjunto de resultados possíveis. Em seus experimentos, criaram tarefas sintéticas onde conheciam a verdade fundamental exata: um número específico de palavras eram igualmente prováveis de seguir uma determinada frase. Eles descobriram que armazenar um padrão com dez resultados possíveis exigia aproximadamente dez vezes mais capacidade do que armazenar um padrão com apenas um. É como se a máquina tivesse que construir um caminho distinto e separado para cada opção possível que deve lembrar. Além disso, descobriram que o "vocabulário" interno que a máquina usa para conter esses contextos deve crescer em tamanho para acomodar a ambiguidade. Se a máquina tentar representar uma situação com muitos desfechos válidos usando uma representação que é pequena demais, ela simplesmente não consegue distinguir entre as opções, não importa o quanto treine.

A dificuldade estende-se além do armazenamento. Os pesquisadores também analisaram como a máquina aprende ao longo do tempo. Descobriram que, quando uma situação possui muitos resultados possíveis, o processo de aprendizagem começa de forma muito mais lenta. Como a máquina vê cada palavra correta específica com menos frequência quando há muitas delas, o sinal que ela recebe para ajustar suas configurações internas é mais fraco. Isso significa que leva mais tempo para começar a progredir. Pior ainda, o ato de treinar com dados reais, onde a máquina vê apenas um exemplo aleatório da próxima palavra correta de cada vez, introduz um erro persistente. Quando o alvo é uma palavra única e certa, a máquina pode eventualmente aprendê-la perfeitamente. Mas quando o alvo é um conjunto de muitas palavras, a aleatoriedade de ver apenas um exemplo em cada etapa cria um piso de erro que a máquina não consegue ultrapassar. Não importa quanto treine, ela sempre estará ligeiramente errada, incapaz de replicar perfeitamente a verdadeira dispersão de probabilidades.

A equipe confirmou essas descobertas não apenas em seus testes sintéticos controlados, mas também em modelos de linguagem de grande escala treinados em textos do mundo real. Ao analisar como esses modelos performavam em dados reais, observaram as mesmas assinaturas: conforme a ambiguidade de um contexto aumentava, as previsões do modelo tornavam-se menos precisas e ele tendia a vazar massa de probabilidade para palavras que não deveriam estar lá. Isso sugere que a maldição da ambiguidade é uma propriedade universal desses sistemas, afetando desde pequenos modelos experimentais até os massivos sistemas de trilhões de parâmetros usados hoje. Os pesquisadores argumentam que essa limitação não é um erro que possa ser corrigido com uma simples atualização de software, mas uma restrição fundamental de como essas redes representam a incerteza.

Esta descoberta muda a forma como devemos pensar sobre as capacidades da inteligência artificial. Sugere que, embora aumentar o tamanho desses modelos ajude, isso não resolve o problema central da ambiguidade. Mesmo os maiores modelos sempre terão dificuldade em modelar perfeitamente situações com muitos resultados plausíveis, deixando uma fração residual da verdade não aprendida. Isso tem implicações práticas para como confiamos nesses sistemas. Em campos onde a precisão é importante, como diagnóstico médico ou raciocínio jurídico, devemos estar cientes de que a distribuição de confiança do modelo pode ser inerentemente ruidosa quando a resposta não é clara. O trabalho fornece um novo framework para entender quando confiar na saída de uma máquina e quando sua incerteza é um sinal de uma limitação estrutural profunda, em vez de uma falta de dados. Em última análise, o artigo revela que a própria coisa que torna a linguagem humana rica e flexível — a habilidade de dizer muitas coisas diferentes de muitas maneiras diferentes — é a mesma coisa que a torna a mais difícil de ser aprendida por uma máquina.

Resumo Técnico: A Maldição da Ambiguidade em Grandes Modelos de Linguagem

Declaração do Problema

Grandes modelos de linguagem (LLMs) dependem cada vez mais de amostragem para impulsionar melhorias no escalonamento em tempo de inferência, aprendizado por reforço e geração de dados sintéticos. Esses métodos dependem criticamente da fidelidade da distribuição de próximo token aprendida pelo modelo. No entanto, nem todas as distribuições são igualmente aprendíveis. O artigo identifica uma limitação fundamental denominada maldição da ambiguidade: em modelos de linguagem autorregressivos (e, de forma ampla, em redes neurais que produzem distribuições de probabilidade discretas), quanto mais ambígua é uma distribuição de próximo token (ou seja, quanto mais tokens compartilham uma massa de probabilidade significativa), mais difícil é aprendê-la com precisão.

Este fenômeno apresenta riscos para o desempenho do modelo, particularmente em configurações ambíguas onde múltiplas continuações são plausíveis. Se os modelos falharem em capturar a distribuição completa e, em vez disso, colapsarem em direção a um único modo, isso pode levar a uma falta de diversidade no conteúdo gerado, agravando erros em treinamento recursivo e resultando em uma má calibração em aplicações de alto risco.

Metodologia

Os autores empregam uma abordagem multifacetada combinando análise teórica, experimentos sintéticos controlados e avaliação em dados do mundo real.

1. Estrutura Teórica

Os autores formalizam a previsão de próximo token como um problema de classificação de contexto-para-token. Eles isolam o cabeçalho linear da arquitetura Transformer, tratando os embeddings de contexto do backbone como dados, para analisar os desafios específicos de ajustar distribuições alvo $p_i$ definidas sobre um vocabulário de tamanho $d$ .

Métrica de Ambiguidade: A ambiguidade é quantificada pelo tamanho do suporte $k$ (o número de tokens com probabilidade não nula na verdade fundamental). Para distribuições uniformes, $k$ é o tamanho exato do suporte; para distribuições não uniformes, é o tamanho efetivo do suporte (exponencial da entropia).
Análise Arquitetônica (Seções 3): Os autores analisam a capacidade e os requisitos de representação do cabeçalho linear.
- Capacidade: Usando uma construção do tipo Hebbiana e decomposição de sinal-ruído, eles derivam que o número de contextos que um modelo pode armazenar escala inversamente com o tamanho do suporte $k$ .
- Dimensão de Embedding: Baseando-se em computação comprimida (compressed sensing) e na teoria de politopos convexos (especificamente a vizinhança- $k$ ), eles provam que a dimensão de embedding $h$ deve escalar linearmente com $k$ ( $h \ge 2k$ ) para representar exatamente todas as distribuições de tamanho $k$ possíveis.
Análise da Dinâmica de Aprendizado (Seção 4): Os autores estudam o fluxo de gradiente e a dinâmica do gradiente descendente estocástico (SGD).
- Velocidade de Otimização: Eles mostram que aprender distribuições ambíguas é mais lento inicialmente porque cada token no suporte é visto com menos frequência, fornecendo um sinal mais fraco. A taxa de convergência na fase tardia é independente de $k$ , mas o preefator da perda escala com $k$ .
- Ruído de Amostragem: Eles analisam o efeito de treinar em tokens amostrados individualmente em vez de distribuições completas. Eles demonstram que a amostragem introduz um "piso de ruído" na divergência KL que escala com $k$ , impedindo o modelo de atingir a mesma perda assintótica que alvos determinísticos.

2. Validação Empírica

Tarefas Sintéticas (Seção 5.1): Os autores treinam Transformers em uma tarefa de 3-gramas controlada derivada do corpus TinyStories. As distribuições de verdade fundamental são conhecidas, permitindo a medição precisa dos erros de previsão. Eles realizam ablações na capacidade do modelo, dimensão de embedding, etapas de treinamento e funções de perda (entropia cruzada vs. divergência KL).
Modelos do Mundo Real (Seção 5.2): Eles avaliam modelos pré-treinados (OLMo-2 1B e 13B) em dados naturais (Dolma v1.7). Como a verdade fundamental é desconhecida, eles usam o modelo maior como um proxy para a distribuição real e estimam a frequência do contexto via similaridade de embedding.

Principais Contribuições

Formalização da Maldição da Ambiguidade: O artigo define e formaliza o fenômeno onde uma maior ambiguidade (maior tamanho de suporte $k$ ) leva a uma maior dificuldade em aprender distribuições precisas.
Identificação das Raízes Arquitetônicas:
- Restrição de Capacidade: Distribuições ambíguas requerem $k$ vezes mais capacidade de parâmetros para armazenar do que distribuições determinísticas ( $Capacidade \propto hd/k$ ).
- Restrição de Representação: Distribuições ambíguas requerem dimensões de embedding que escalam linearmente com o tamanho do suporte ( $h \ge 2k$ ) para serem representadas sem erro.
Identificação das Raízes de Aprendizado:
- Desaceleração da Otimização: Distribuições ambíguas aprendem mais lentamente inicialmente (taxa $\propto 1/k$ ) e convergem para um patamar de perda mais alto.
- Amplificação de Ruído: Treinar em tokens amostrados (prática padrão) amplifica o ruído para distribuições ambíguas, criando um piso de ruído dependente de $k$ na divergência KL que impede a calibração perfeita.
Verificação Empírica: O estudo confirma essas assinaturas teóricas tanto em ambientes sintéticos quanto em modelos de linguagem do mundo real, mostrando que o desempenho degrada conforme o tamanho do suporte efetivo aumenta, mesmo quando a frequência do contexto é mantida constante.

Resultados

Capacidade e Embeddings: Experimentos em dados sintéticos confirmam que aumentar a dimensão de embedding ou a capacidade do modelo melhora o desempenho uniformemente através de todos os tamanhos de suporte, mas, especificamente, aumentar a dimensão de embedding ou otimizar a divergência KL esperada (removendo o ruído de amostragem) melhora significativamente a modelagem de contextos de alta ambiguidade, deixando contextos determinísticos praticamente inalterados.
Dinâmica de Aprendizado: Simulações mostem que distribuições ambíguas sofrem de um "piso de ruído" no SGD que está ausente no fluxo de gradiente. À medida que o treinamento progride, a perda para distribuições ambíguas estabiliza em um patamar, enquanto a perda para distribuições determinísticas continua a diminuir.
Comportamento no Mundo Real: Em modelos reais, contextos com maiores tamanhos de suporte efetivos exibem maior divergência KL e sistematicamente "vazam" massa de probabilidade para fora do suporte real, levando a uma sobre-entropia na distribuição de nível de sequência.

Significância e Alegações

O artigo alega fornecer uma nova perspectiva sobre as capacidades estatísticas de grandes modelos de linguagem, oferecendo um framework prático para entender quando confiar na distribuição de saída de um modelo.

Insight Mecanístico: O trabalho vai além das leis de escala empíricas para fornecer uma explicação mecanística de por que os modelos têm dificuldade com a incerteza. Ele vincula a dificuldade de aprender a ambiguidade às propriedades geométricas e de otimização fundamentais das redes neurais.
Implicações para Escalonamento: Os autores argumentam que, embora o escalonamento (aumento de parâmetros e dados) mitigue a maldição, ele o faz apenas assintoticamente. Mesmo em grandes escalas, uma fração residual da distribuição permanece não modelada, particularmente para contextos altamente ambíguos.
Relevância Ampla: As descobertas estendem-se além dos LLMs para qualquer rede neural que produza distribuições de probabilidade discretas. O artigo traça um paralelo com o "paradoxo da escolha" na psicologia cognitiva, sugerindo que representar uma distribuição espalhada por muitas opções é fundamentalmente mais exigente em termos de capacidade e amostras do que representar uma única resposta.
Framework Prático: Os resultados sugerem que, para tarefas que exigem modelagem de distribuição de alta fidelidade (ex: raciocínio, planejamento ou geração de conteúdo diverso), simplesmente aumentar o tamanho do modelo pode ser insuficiente; atenção específica às dimensões de embedding e ao tratamento do ruído de amostragem (ex: via otimização de divergência KL ou lotes/batches maiores) pode ser necessária.

Os autores concluem que a maldição da ambiguidade é uma restrição fundamental que deve ser considerada ao projetar modelos para tarefas envolvendo incerteza, e que os modelos atuais provavelmente subestimam a complexidade real dos contextos ambíguos da linguagem natural.