Resumo Técnico: Transições Fantasmas no Ajuste Fino de Modelos de Linguagem

Declaração do Problema

Modelos de linguagem ajustados finamente (fine-tuned) em contextos onde a conclusão correta possui um competidor quase sinônimo exibem frequentemente uma "falha silenciosa". Nestes casos, a perda de entropia cruzada (CE) diminui monotonicamente e a probabilidade do token correto aumenta, mas o token correto nunca ultrapassa o competidor em seu ranking. Diagnósticos padrão, que dependem de vetores de probabilidade e da perda CE, falham em detectar isso porque tratam o vocabulário como uma base ortonormal, ignorando a sobreposição geométrica entre os embeddings. Quando os embeddings são não-ortogonais (ex: vergonha e culpa), as atualizações de gradiente que aumentam a probabilidade do token correto reforçam simultaneamente o competidor através de direções de embedding compartilhadas, efetivamente sabotando o objetivo de otimização.

Metodologia

O autor propõe uma estrutura de matriz de densidade para analisar a predição de tokens, tratando os embeddings de tokens normalizados como estados quânticos $|\psi_i\rangle$ e a saída softmax como uma matriz de densidade $\hat{\varrho} = \sum p_i |\psi_i\rangle\langle\psi_i|$. Esta abordagem permite uma regra de pontuação que leva em conta a geometria não-ortogonal.

Construtos Analíticos Principais

1. O Parâmetro de Ordem ($\Phi$): Definido como o "gap de Born", $\Phi = P_{Born}(g) - P_{Born}(c^*)$, onde $P_{Born}(g) = \sum p_i G_{ig}^2$ é a pontuação ponderada pela sobreposição ao quadrado. Isso distingue entre incerteza genuína (tokens ortogonais) e degenerescência geométrica (quase sinônimos).
2. Fator de Autossabotagem: O autor deriva que um passo de gradiente que aumenta a probabilidade do token de verdade fundamental (ground-truth) $g$ avança o gap de Born em apenas $(1 - G_{max}^2)\delta p$, onde $G_{max}$ é a sobreposição de cosseno entre $g$ e seu competidor mais próximo $c^*$. Este fator representa o "controle" (throttle) no progresso da otimização.
3. Decomposição de Sinal e Arraste (Drag): $\Phi$ é decomposto em:
   • Sinal: A liderança de probabilidade de $g$ sobre $c^*$, escalonada pelo fator de autossabotagem.
   • Arraste de Fundo (Background Drag): Um termo determinado por como o restante do pool de embeddings projeta em $g$ versus $c^*$.
4. Observáveis Geométricos:
   • Razão de Participação ($PR$): Uma razão de participação inversa geometricamente corrigida que mede o número efetivo de tokens distintos.
   • Comprimento de Localização ($\xi$): A dispersão angular da nuvem de predição.
   • Profundidade de Sepultamento (Burial Depth, $B$): A razão entre o comprimento de localização inicial e a distância angular entre $g$ e $c^*$. $B > 1$ implica que a nuvem de predição é larga demais para discriminar geometricamente os tokens.
5. Quantidades Adimensionais: A trajetória é caracterizada por unidades reduzidas, incluindo o campo reduzido $H = G_{max}\eta / \theta^*$, onde $\eta$ é a taxa de aprendizado e $\theta^*$ é um limiar de saturação específico do modelo.

Configuração Experimental

O estudo abrange cinco arquiteturas transformer (distilgpt2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) abrangendo uma faixa de seis vezes o número de parâmetros e duas classes distintas de geometria de embedding. Experimentos envolvem o ajuste fino em dez contextos de quase sinônimos selecionados à mão usando tanto o Ajuste Fino Total (Full Fine-Tuning) quanto a Adaptação de Baixo Rank (LoRA).

Principais Resultados

1. Transições de Fase Fantasmas

O parâmetro de ordem $\Phi$ exibe saltos agudos que se assemelham a transições de fase. No entanto, o autor falsifica a interpretação destes como quebra de simetria espontânea (SSB) ou transições de fase geométricas.

• Evidência: Sob LoRA, onde a matriz de embedding está congelada, os saltos agudos persistem. Como a geometria do embedding não pode se mover, a descontinuidade deve residir inteiramente na leitura do softmax (softmax readout).
• Mecanismo: O gap de logit evolui suavemente. O "salto" ocorre quando o gap de logit cruza a escala de saturação do softmax (aproximadamente 1,5–2,0 nats), causando uma mudança rápida na massa de probabilidade. A transição é cinemática, não estrutural.

2. Dois Modos de Falha

A estrutura isola dois modos distintos de falha no ajuste fino:

• Falha Cinemática: O sinal é pequeno demais para superar o arraste de fundo. O modelo falha em se comprometer porque a taxa de aprendizado ou o fator de autossabotagem é insuficiente.
• Falha Estrutural: O arraste de fundo piora ativamente durante o treinamento. Mesmo conforme o gap de logit cresce, o viés geométrico do pool de embeddings pré-treinado (ex: parentes morfológicos do competidor) puxa a probabilidade para longe do token correto. Isso é observado em modelos com bulks de embeddings densos (Classe A).

3. Classes de Arquitetura e Suficiência de LoRA

O autor identifica duas classes de arquiteturas baseadas na distribuição de sobreposições de pares de embeddings (o "bulk"):

• Classe A (Bulk Gaussiano Denso): Modelos como GPT-2 e SmolLM. O espaço de embedding é lotado; quase sinônimos são outliers em uma cauda populada. O LoRA frequentemente falha em resolver a competição de quase sinônimos porque suprimir um competidor simplesmente desloca a massa para outro token geometricamente similar.
• Classe B (Bulk Exponencial Esparso): Modelos como Pythia. O espaço de embedding é quase ortogonal. O LoRA é suficiente para resolver a competição porque a interferência geométrica é localizada.
• Critério: O Profundidade de Sepultamento ($B$) medido após o LoRA prevê a suficiência. Modelos da Classe B alcançam $B < 1$ (resolvido), enquanto modelos da Classe A permanecem em $B > 1$ (não resolvido).

4. Escalonamento Universal e Predição Cega

• Consistência do Campo Reduzido: Sob Full FT, o campo reduzido $H_{FT}$ é consistente em todas as cinco arquiteturas em aproximadamente $10,0 \pm 0,9$, sugerindo que as taxas de aprendizado padrão da comunidade estão aproximadamente dez vezes acima do limiar de saturação.
• Predição Cega: Usando o $H_{LoRA} \approx 1,70$ da Classe A derivado de três modelos, o autor previu a taxa de aprendizado crítica para um modelo não testado (gpt-neo-125m). A predição ($5,71 \times 10^{-5}$) correspondeu ao valor real medido ($5,83 \times 10^{-5}$) com uma margem de 2,1%.

5. Critério de Parada

Interromper o ajuste fino quando o parâmetro de ordem $\Phi$ satura (em vez de esperar pela convergência da perda CE) economiza aproximadamente 30% de computação sem degradar a qualidade do ranking, já que o ranking se estabiliza antes que a perda converja totalmente.

Significância e Alegações

O artigo afirma fornecer uma explicação mecanística para falhas silenciosas no ajuste fino que os diagnósticos padrão não detectam. Suas principais contribuições são:

1. Estrutura de Diagnóstico: Uma formulação de matriz de densidade que revela a autossabotagem geométrica e distingue entre falhas cinemáticas e estruturais.
2. Falsificação de SSB: Demonstrar que saltos agudos no ranking são artefatos da leitura do softmax, não transições de fase na geometria interna do modelo.
3. Poder Preditivo: A capacidade de classificar arquiteturas em classes de suficiência de LoRA e de insuficiência de LoRA baseando-se apenas na geometria do bulk de embedding pré-treinado e de prever taxas de aprendizado críticas para arquiteturas não vistas com alta precisão.
4. Limitação de Escopo: O autor afirma explicitamente que esses achados quantitativos são específicos para o mecanismo geométrico de quase sinônimos estudado e não devem ser extrapolados para conjuntos de dados gerais de instrução sem recalibração. O trabalho serve como uma análise controlada, de estilo físico, de um modo de falha específico, em vez de um benchmark amplo para todas as tarefas de ajuste fino.