Resumo Técnico: A Geometria das Atualizações: Alinhamento de Fisher na Escala de Vocabulário

1. Definição do Problema

O artigo aborda o desafio da seleção de fontes livre de treinamento (training-free source selection) para famílias de Grandes Modelos de Linguagem (LLMs) que compartilham um vocabulário, mas diferem em alvos de predição (por exemplo, adaptar um tokenizador compartilhado para SMILES, sequências de proteínas ou dados genômicos).

As métricas atuais de transferibilidade enfrentam um dilema neste regime "escuridão de ativação" (activation-dark):

• Métricas de similaridade de representação (ex: CKA, RSA, SVCCA) computam a similaridade baseada em ativações congeladas. Os autores argumentam que estas são não-identificáveis para transferência ao nível de head (cabeça), pois ignoram a geometria dos erros condicionais ao rótulo. Modelos podem compartilhar representações idênticas, mas possuir direções de atualização ortogonais.
• Métricas clássicas de geometria de atualização (ex: alinhamento de Fisher) capturam teoricamente a estrutura de atualização necessária, mas são computacionalmente proibitivas na escala de vocabulário ($K \sim 10^5$). Armazenar a matriz de segundo momento do erro ($\Gamma_e$) requer aproximadamente 61 GiB por tarefa, tornando a computação exata inviável para grandes conjuntos candidatos.

A questão central é: Como se pode estimar eficientemente a compatibilidade geométrica de atualizações de parâmetros (alinhamento de Fisher) na escala de vocabulário sem materializar matrizes massivas ou depender de sinais potencialmente enganosos baseados apenas em ativações?

2. Metodologia

Fundamentação Teórica

Os autores estabelecem que, para uma head linear, o gradiente por exemplo $g$ fatoriza exatamente no produto de Kronecker da ativação de penúltima camada $a$ e o erro no espaço de logits $e$ (ou seja, $g = a \otimes e$).

• Não-Identificabilidade de Métricas de Representação: O artigo prova (Teorema 3.2) que métricas de apenas representação não podem determinar o alinhamento de Fisher de uma head. Eles constroem uma "testemunha" onde tarefas compartilham representações idênticas ($Z_i = Z_j$), mas possuem conjuntos de rótulos disjuntos, resultando em gradientes de head ortogonais ($A_F(i, j) = 0$). Assim, $M(Z_i, Z_j)$ não consegue distinguir entre tarefas idênticas e tarefas ortogonais.
• Alinhamento de Fisher como um Cosseno de Kernel de Produto: A contribuição teórica central (Teorema 4.2) reescreve o alinhamento de Fisher de head como a similaridade de cosseno entre embeddings de média de kernel em um espaço de características conjunto $(a, e)$:
  $$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$$
  onde $\mu_{ae, k}$ é o embedding de média do kernel de produto $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$.
  Esta decomposição revela que a transferibilidade depende de três fatores:
  1. Geometria de Ativação: Similaridade dos segundos momentos de ativação ($M_a$).
  2. Geometria de Erro: Similaridade dos segundos momentos de erro ($\Gamma_e$).
  3. Acoplamento: Uma razão de não-separabilidade ($\rho$) que mede o desvio da suposição de que ativações e erros são independentes.

Algoritmo: FisherSketch

Para tornar isso tratável na escala de vocabulário, os autores introduzem o FisherSketch, um estimador de passagem única e em fluxo (streaming).

• Recursos de Maclaurin Aleatórios: Em vez de computar o embedding completo de $O(d^2 K^2)$, o FisherSketch utiliza projeções aleatórias fatoradas (vetores de Rademacher) para estimar a expectativa do kernel de produto.
• Eficiência: Ele explora a estrutura de Kronecker para computar projeções separadamente para $a$ e $e$, reduzindo a complexidade por amostra de $O(mdK)$ para $O(m(d+K))$.
• Transformada de Hadamard Aleatória Subamostrada (SRHT): Para o espaço de erro de alta dimensão ($K \approx 128.256$), o SRHT é usado para reduzir o custo de projeção de $O(mK)$ para $O(K \log K + m)$.
• Saída: O método produz uma assinatura de tarefa compacta de 16 KB (um vetor em $\mathbb{R}^m$ com $m=4096$) por tarefa, codificando a geometria conjunta de ativação-erro. Ele também mantém um estado de fluxo pequeno de 192 KB para estimativa de amostras divididas para reduzir o viés.

3. Principais Contribuições

1. Prova de Não-Identificabilidade: Demonstração formal de que métricas de similaridade de representação (CKA, RSA, SVCCA) são insuficientes para prever a transferência de head sem suposições sobre a geometria do erro ou mapeamento de rótulos.
2. Identidade de Decomposição Exata: Prova que o alinhamento de Fisher de head é exatamente um cosseno de kernel de produto entre embeddings de média conjuntos, fornecendo uma decomposição rigorosa de três fatores (ativação, erro, acoplamento).
3. FisherSketch: Um estimador escalável, livre de treinamento, que comprime a geometria da tarefa em uma assinatura de 16 KB, permitindo comparações de escala de vocabulário ($K=128.256$) com um estado de fluxo de 192 KB por tarefa.
4. Instrumento de Diagnóstico: As assinaturas permitem que pesquisadores desmembre se a similaridade da tarefa é impulsionada por ativações, erros ou seu acoplamento, servindo como uma sonda para regimes de "escuridão de ativação".

4. Resultados

Seleção de Fonte em Escala de Vocabulário

Avaliado no Llama-3.1-8B através de 100 domínios:

• Desempenho: O FisherSketch alcançou 45,7% de acurácia Top-1 na seleção de fonte (aproximadamente 10,9$\times$ a linha de base aleatória) com um arrependimento máximo de 0,119.
• Comparação: Foi competitivo com baselines de apenas ativação em mudanças de domínio naturais, mas superou significativamente estes em regimes específicos.
• Eficiência: Reduziu os requisitos de armazenamento de ~61 GiB por tarefa (para $\Gamma_e$ exato) para 16 KB.

Teste de Estresse de Identificabilidade (Mudança de Verbalizador)

Em um experimento controlado usando prompts de prefixo fixo onde as ativações eram idênticas entre diferentes verbalizadores (ex: "Sim/Não" vs. "Verdadeiro/Falso"):

• Falha de Apenas Ativação: A similaridade de ativação ($Scov(M_a)$) colapsou para uma constante (desempenho de linha de base aleatória de 20% Top-1).
• Sucesso do FisherSketch: O FisherSketch alcançou 66,7% Top-1, prevendo com sucesso variações de transferência impulsionadas exclusivamente por mudanças na geometria do erro condicionada ao rótulo.
• Marginal de Apenas Erro: A marginal de apenas erro ($Scov(\Gamma_e)$) também performou bem (72,2% Top-1), confirmando que, quando a geometria de ativação é constante, a geometria do erro impulsiona o sinal.

Prova de Conceito de Sequência Científica

Em domínios de sequências moleculares SMILES, o FisherSketch correlacionou-se significativamente com a redução de perplexidade entre domínios ($\rho_s=0,53, p=0,006$), enquanto a similaridade de apenas ativação não foi significativa ($p=0,081$).

Validação do Estimador

No ViT-B/16, o FisherSketch mostrou altas correlações de Spearman com o alinhamento de Fisher exato para similaridade conjunta ($\hat{S}_{ae}$: 0,97) e acoplamento ($\hat{\rho}$: 0,95). O método alcançou um aceleração de 89$\times$ sobre a computação exata com $n=2000$ amostras.

5. Significância e Alegações

O artigo afirma fornecer um mecanismo prático e livre de treinamento para a seleção de fontes em famílias de LLMs com vocabulário compartilhado, onde métricas tradicionais falham devido à natureza de "escuridão de ativação" do problema.

• Impacto Operacional: Permite a seleção automatizada de fontes para ajuste fino (fine-tuning), aprendizagem contínua consciente de interferência e roteamento em tempo de inferência baseado na compatibilidade prevista de atualização de parâmetros, em vez de apenas similaridade de representação.
• Insight Teórico: Esclarece que a transferência é fundamentalmente uma geometria de atualizações (gradientes), não apenas de representações. O artigo argumenta que, embora as métricas de representação possam ser informativas em regimes favoráveis, elas são fundamentalmente limitadas sem a modelagem explícita da estrutura de erro.
• Escalabilidade: Ao comprimir a complexa geometria de atualização em assinaturas pequenas, o trabalho torna a análise de transferibilidade em escala de vocabulário viável, indo além das restrições de aproximações de rótulos finitos (como LogME/LEEP) ou cálculos de Fisher exatos proibitivos.

Os autores explicitamente notam limitações: o método assume uma base de saída compartilhada (vocabulário ou taxonomia alinhada) e foca no alinhamento de Fisher de nível de head (ou parâmetros compartilhados). Para espaços de saída heterogêneos ou comparações de rede completa sem parâmetros compartilhados, abordagens diferentes e diagnósticos de camadas internas são recomendados.