Resumo Técnico: PERDIDO NA AMOSTRAGEM

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) modernos frequentemente geram texto que é homogêneo, repetitivo e carente da riqueza lexical do discurso humano. Embora pesquisas anteriores tenham atribuído esse "colapso de modo" a técnicas de alinhamento de modelos (como RLHF ou DPO) ou limitações nos dados de treinamento, este artigo investiga o papel da mecânica de decodificação na supressão da diversidade linguística. Os autores postulam que os filtros de amostragem padrão (por exemplo, Top-p, Top-k, Min-p) atuam como mecanismos agressivos de poda que eliminam matematicamente palavras de baixa frequência e alta informação do caminho generativo, mesmo quando essas palavras residem dentro do espaço de probabilidade latente do modelo. Isso resulta em um "colapso estrutural" onde o vocabulário operacional do modelo é artificialmente restringido, suavizando a expressão humana única em um discurso homogeneizado.

Metodologia: A Pontuação de Cobertura de Palavras (WCS)

Para quantificar a extensão até a qual os filtros de amostragem podam o vocabulário contextualmente apropriado, os autores introduzem a Pontuação de Cobertura de Palavras (WCS). Esta métrica mede a "taxa de sobrevivência lexical" de palavras humanas como uma função dos parâmetros de amostragem. A avaliação segue uma Auditoria de Caminho Forçado em quatro etapas:

1. Seleção Lexical: Um conjunto-alvo de palavras de "Cauda Média-Longa" é selecionado do Corpus de Trilhão de Palavras da Web do Google. Essas palavras são classificadas entre 10.000 e 40.000 em frequência para evitar palavras funcionais comuns e ruído extremamente raro.
2. Emparelhamento Contextual: As palavras-alvo são mapeadas de volta para contextos naturalistas extraídos do conjunto de dados PG-19 (livros publicados antes de 1919), garantindo avaliação dentro de um ambiente linguisticamente rico, de autoria humana e livre da homogeneização moderna raspada da web.
3. Auditoria de Caminho Forçado: Para cada palavra $w$ (composta por tokens de sub-palavra $t_1, \dots, t_n$) e contexto $C$, o modelo recebe o prefixo de verdade fundamental. Em vez de amostragem, o sistema registra a classificação e a probabilidade dos tokens de verdade fundamental. A auditoria determina se esses tokens sobreviveriam à lógica de poda de algoritmos de amostragem específicos:
   • Sobrevivência Top-k: O token deve estar classificado entre os $k$ mais prováveis.
   • Sobrevivência Top-p (Núcleo): O token deve pertencer ao menor conjunto de tokens cuja probabilidade cumulativa atinge o limiar $p$.
   • Sobrevivência Min-p: A probabilidade do token deve exceder uma fração escalada $m$ da probabilidade máxima do token.
4. Cálculo da Métrica: A WCS é calculada como a média agregada de alcançabilidade ($R$) através do conjunto de palavras-alvo $W$ e seus contextos. Uma palavra é considerada "coberta" ($R=1$) apenas se cada token constituinte sobreviver ao filtro em sua etapa respectiva.

Configuração Experimental

O estudo avaliou modelos de pesos abertos com menos de 20 bilhões de parâmetros, comparando variantes Base (cruas) contra variantes Instruct/It (alinhadas). As famílias de modelos incluíram Llama, Mistral, Qwen, Gemma e DeepSeek. Os experimentos varreram sistematicamente os parâmetros de amostragem:

• Top-p: 0,7 a 0,99
• Top-k: 1 a 20
• Min-p: 0,01 a 0,1
• Temperatura: 0,7, 1,0 e 1,5

A avaliação focou na fração de palavras que se tornam inacessíveis ($WCS(\theta, w) = 0$) através de 10 contextos por palavra, medindo efetivamente o "apagamento de palavras".

Resultados Principais

• Apagamento Sistêmico de Palavras: Sob configurações padrão da indústria (por exemplo, Top-p $\approx$ 0,8–0,95, $T \approx$ 0,7), uma fração significativa de palavras-alvo (22% a 57%) é completamente inacessível em qualquer um de seus contextos. Por exemplo, o modelo Gemma-4-E4B-it apagou 57% das palavras-alvo sob sua configuração padrão.
• Impacto do Alinhamento: Modelos ajustados para instruções (alinhados) geralmente exibem menor alcançabilidade lexical do que suas contrapartes base. Em pares correspondentes, a alcançabilidade média ao nível de palavra caiu de 0,740 (Base) para 0,728 (Instruct), e a WCS agregada diminuiu de 0,290 para 0,277. Isso sugere que os processos de otimização de preferência restringem diretamente o espaço de vocabulário utilizável.
• Déficit de Destilação: O modelo DeepSeek-R1-Distill-Qwen-14B mostrou perda significativa de vocabulário em comparação com sua base Qwen2.5-14B, indicando que destilar capacidades de raciocínio estruturado introduz restrições adicionais na acessibilidade lexical.
• Ineficácia da Alta Temperatura: Mesmo sob configurações agressivas de alta temperatura ($T=1,5$), uma fração substancial de contextos falhou em selecionar as palavras-alvo, indicando que simplesmente aumentar a temperatura não recupera totalmente a diversidade lexical e frequentemente compromete a coerência.
• Variância Específica do Modelo: Embora a maioria das famílias tenha mostrado diversidade reduzida após o alinhamento, a família Gemma exibiu padrões não uniformes; o Gemma-3-12B-it melhorou sobre sua base, enquanto o Gemma-4-E4B-it sofreu erosão severa, destacando que os impactos do alinhamento variam conforme a arquitetura e a iteração de treinamento.

Significado e Alegações

O artigo afirma que os padrões de amostragem padrão atuam como mecanismos de censura não intencionais, podando matematicamente o "Jardim dos Caminhos que se Dividem" (uma metáfora para o espaço de probabilidade latente do modelo) antes que um token seja sequer selecionado. A WCS fornece uma ferramenta diagnóstica rigorosa para quantificar esse fenômeno, revelando que a homogeneização da saída do LLM não é apenas um resultado de dados de treinamento ou alinhamento, mas é estruturalmente imposta por filtros de decodificação.

Os autores argumentam que essa erosão lexical representa um risco de longo prazo para a evolução da linguagem. À medida que o texto gerado por modelos preenche repositórios públicos e se torna dados de treinamento para modelos futuros, a ingestão recursiva desse discurso achatado poderia restringir permanentemente o léxico humano ativo, apagando a "Cauda Longa" da expressão diversa. O artigo conclui que preservar a diversidade vocabular requer uma mudança de paradigma: tratar a amplitude lexical como um objetivo arquitetônico central equivalente à correção factual, em vez de um parâmetro superficial, e desenvolver decodificadores guiados semanticamente que possam distinguir entre ruído e vocabulário de baixa frequência, rico contextualmente.

Limitações

Os autores reconhecem várias restrições:

• Escopo: O estudo é limitado a modelos de pesos abertos <20B parâmetros e apenas ao idioma inglês.
• Viés de Dados: Os contextos são extraídos de literatura pré-1919 (PG-19), introduzindo um viés histórico, embora isso evite a homogeneização moderna da web.
• Métrica Binária: A WCS mede exclusão absoluta ($R=0$ ou $1$) e não captura a "erosão suave" onde uma palavra permanece acessível, mas sua probabilidade é significativamente atenuada.
• Variância do Tokenizador: Diferenças na tokenização de sub-palavras entre famílias de modelos significam que o número de etapas de filtragem para uma única palavra varia, afetando a comparabilidade direta.
• Contexto Estático: A auditoria usa um prefixo fixo de 256 tokens, não avaliando dependências de longo alcance.