Resumo Técnico: O Auto-treinamento Não Achata a Linguagem — Ele a Reestrutura

Declaração do Problema

A caracterização predominante do auto-treinamento sucessivo em modelos de linguagem (LLMs) é a de "achatamento" ou "colapso do modelo", onde a diversidade diminui, as distribuições se estreitam e o texto converge para um atrator de baixa entropia. Concurrentemente, a literatura sobre impressões digitais linguísticas de LLMs observa que o texto gerado por máquinas é estaticamente rico em marcadores de superfície específicos (conectivos discursivos, atenuadores, travessões) em comparação com baselines humanas. No entanto, nenhuma dessas literaturas descreveu corretamente o mecanismo dessa deriva distribucional. A explicação teórica dominante atribui o decaimento a um mecanismo baseado em frequência: eventos raros são subamostrados e desaparecem. Este artigo argumenta que essa caracterização é incompleta e que o fenômeno é melhor descrito como uma bifurcação estrutural em vez de um achatamento uniforme.

Metodologia

Os autores conduziram experimentos controlados de auto-treinamento em cinco modelos abrangendo três famílias de arquiteturas (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B e OPT-1.3B).

• Protocolo: Cada modelo passou por 11 gerações de auto-treinamento puro. A partir de um checkpoint liberado, o modelo gerou 3.000 textos (256 tokens cada) usando amostragem de núcleo ($p=0.95, T=0.9$), e o corpus resultante foi usado para ajustar o modelo finamente por uma época. Este ciclo repetiu-se sem a mistura de dados humanos.
• Seleção de Características: Dezessete características linguísticas foram selecionadas a priori e estratificadas por Profundidade Estrutural ($d(\phi)$), definida como o número mínimo de dependências sintáticas aninhadas necessárias para licenciar a característica em uma sentença:
  • $d=0$ (Superfície/Lexical): Marcadores discursivos, atenuadores, travessões, pontos de exclamação.
  • $d=1$ (Sintaxe Local): Passado regular ($V+ed$), conjunções iniciais de sentença, coordenação simples.
  • $d=2$ (Estrutura de Orações): Perguntas, parentéticos, voz passiva, passado irregular, orações relativas/adverbiais.
  • $d=3$ (Inter-oral/Modo): Construções no subjuntivo.
• Análise: Os autores rastrearam a frequência relativa dessas características ao longo das gerações. Calcularam taxas de decaimento por característica ($\lambda$) via regressão OLS e testaram correlações contra a profundidade estrutural ($d$) e a frequência baseline ($f$). Um modelo de efeitos mistos foi utilizado para contabilizar a estrutura aninhada dos dados ($N=85$ pares característica-modelo).

Principais Contribuições

1. Formalização da Hipótese da Profundidade Estrutural (HPE): O artigo propõe que a taxa de deriva por geração de uma característica linguística é prevista primariamente por sua profundidade estrutural ($d$) e secundariamente por sua dependência da estocasticidade de amostragem ($\sigma$). A hipótese postula uma competição entre uma "penalidade de profundidade" (estruturas profundas decaem devido a custos probabilísticos multiplicativos) e um "bônus de dependência de amostragem" (marcadores de superfície amplificam-se devido a dinâmicas de "o rico fica mais rico" na amostragem estocástica).
2. Documentação do "Paradoxo da Complexidade Superficial": Os autores demonstram que, enquanto proxies agregadas de "complexidade" (profundidade da árvore de dependência, razão tipo-token, comprimento médio de palavras) aumentam durante o auto-treinamento, as características estruturais subjacentes de orações (perguntas, passivas, subordinação) colapsam. Isso mascara a bifurcação em análises estilométricas padrão.
3. Validação Cruzada entre Modelos: O estudo fornece evidências controladas em cinco modelos e três famílias de arquiteturas, mostrando que o efeito de gradiente de profundidade é robusto a diferenças arquitetônicas e corpora de treinamento.
4. Refutação de Explicações Baseadas Apenas em Frequência: Através de testes estatísticos diretos, o artigo demonstra que a profundidade estrutural é um preditor significativamente mais forte do decaimento de características do que a frequência baseline.

Principais Resultados

• Bifurcação de Características: Marcadores de superfície ($d=0$) amplificaram-se significativamente (ex.: marcadores discursivos aumentaram +126%, atenuadores +44%), enquanto estruturas sintáticas profundas ($d \ge 2$) colapsaram (ex.: pontos de interrogação caíram 92%, voz passiva 56%, subjuntivos 53%).
• Monotonicidade: A mudança média por geração foi monotonicamente decrescente com a profundidade estrutural:
  • $d=0$: +24,9%
  • $d=1$: -10,0%
  • $d=2$: -47,2%
  • $d=3$: -52,7%
• Significância Estatística:
  • Agrupados entre cinco modelos ($N=85$), a correlação de Spearman entre profundidade estrutural e taxa de decaimento foi $\rho = 0,540$ ($p < 10^{-6}$).
  • Em contraste, a correlação entre frequência baseline e taxa de decaimento foi fraca e não significativa no teste agrupado ($\rho = 0,225, p = 0,039$).
  • Um modelo de efeitos mistos confirmou que o coeficiente de profundidade foi altamente significativo ($p < 0,001$), enquanto a frequência não foi.
• A "Exceção que Confirma a Regra": Pontos de exclamação ($d=0$) colapsaram em 99,3%. Os autores atribuem isso à equação da HPE: embora sejam superficiais ($d=0$), sua taxa baseline sob amostragem de núcleo era baixa demais para disparar o ciclo de amplificação "o rico fica mais rico", causando seu decaimento apesar de sua baixa profundidade.
• Experimento de Controle: Um controle correspondente onde os modelos foram ajustados finamente em texto humano (OpenWebText) em vez de texto auto-gerado resultou em uma correlação próxima de zero ($\rho = 0,039, p = 0,88$), confirmando que o gradiente de profundidade é específico ao regime de auto-treinamento.

Significado e Afirmações

O artigo afirma reestruturar duas literaturas distintas:

1. Colapso do Modelo: Oferece uma explicação estrutural em vez de puramente estatística do colapso. Argumenta que o colapso não é meramente a perda de tokens raros, mas a erosão sistemática da maquinaria sintática profunda, impulsionada pela penalidade probabilística multiplicativa de atravessar dependências aninhadas na geração autoregressiva.
2. Impressões Digitais de LLMs: Fornece uma explicação mecanicista do porquê os marcadores canônicos de texto de máquina (conectivos discursivos, atenuadores) são exatamente as características que são: são os sobreviventes e amplificadores de um colapso graduado por profundidade.
3. Aviso Metodológico: O artigo argumenta que confiar em métricas agregadas de impressão digital (como é padrão na estilometria) mascara sistematicamente a bifurcação da linguagem sob auto-treinamento. Isso tem implicações diretas para a curadoria de dados de treinamento (sugerindo a necessidade de priorizar texto rico estruturalmente em orações) e para detecção (sugerindo que detectores baseados em complexidade agregada podem falhar à medida que os modelos passam por treinamento recursivo).

Os autores permanecem modestos quanto aos limites específicos para modelos maiores (7B+), observando que seus experimentos abrangem de 124M a 2,8B de parâmetros, mas afirmam que a direção e a ordenação do gradiente de profundidade são consistentes nas escalas testadas. Eles também notam que as descobertas estão atualmente limitadas ao inglês e a distribuições específicas de prompts.