Resumo Técnico: Desvendando o Potencial Latente das Representações Intermediárias Profundas

Declaração do Problema

Modelos fundamentais, pré-treinados em conjuntos de dados massivos, aprendem representações hierárquicas que evoluem através da profundidade da rede. A suposição predominante no aprendizado por transferência é que a utilidade semântica aumenta monotonicamente com a profundidade, levando à prática padrão de utilizar apenas a saída da camada final para tarefas subsequentes. No entanto, análises empíricas recentes desafiam essa visão, demonstrando que camadas intermediárias frequentemente superam as representações finais em até 10% em tarefas subsequentes. Esse fenômeno ocorre porque as camadas finais podem superespecializar-se em objetivos de pré-treinamento (por exemplo, previsão do próximo token) ou sofrer com colapso de representação. Além disso, informações relevantes para a tarefa são distribuídas de forma não monotônica através das camadas, o que significa que a agregação ingênua ou o simples ponderamento de camadas falha em recuperar o subespaço ótimo específico da tarefa. O problema central abordado é como identificar sistematicamente e fundir o subconjunto específico de camadas intermediárias que codificam estrutura discriminativa de tarefa sem incorrer em custos computacionais proibitivos.

Metodologia

Os autores propõem um framework unificado composto por dois componentes acoplados: Seleção Ótima de Embeddings por Camada (LOES) e Regularização Geométrica (GeoReg).

1. Seleção Ótima de Embeddings por Camada (LOES)

LOES é um framework espectral construtivo projetado para aproximar o subespaço ótimo para a tarefa selecionando iterativamente camadas não redundantes. Ele formula a seleção de camadas como um problema de otimização de resíduo de ridge (ridge-residual) restrito por ortogonalidade e isotropia. O algoritmo procede em duas etapas:

• Inicialização: A primeira camada é selecionada ajustando uma sonda de ridge contra os alvos originais e minimizando uma pontuação que combina perda de ajuste com um termo de isotropia.

• Seleção Iterativa: Dado um conjunto atual de camadas selecionadas $S$, as camadas candidatas são ortogonalizadas contra o span de $S$ para isolar o poder explicativo marginal. Cada candidato é pontuado usando um objetivo composto (Eq. 7):
  $$\text{Score}(\ell) = \text{Loss}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$$
  Onde:

  • $\text{Loss}_\ell$: Erro quadrático médio de uma sonda de ridge no resíduo ortogonalizado.
  • $\text{Iso}(X_\ell)$: Uma pontuação de isotropia derivada dos autovalores da covariância empírica, promovendo embeddings bem condicionados.
  • $\text{Red}_\ell$: Um termo de redundância medindo o alinhamento global do candidato com as camadas já selecionadas.
  • $\text{Tri}(\tilde{X}_\ell)$: Um termo opcional para classificação que estima a área média do triângulo dos centróides de classe para incentivar estruturas de simplex de alto volume.

  A camada que minimiza essa pontuação é selecionada, reajustada contra os alvos originais e adicionada ao ensemble. Esse processo se repete até que um orçamento $K$ seja atingido.

2. Regularização Geométrica (GeoReg)

Para evitar a degradação de propriedades geométricas favoráveis (como isotropia e separação de classes) durante o ajuste fino, os autores introduzem o GeoReg. Essa perda auxiliar é aplicada durante a adaptação subsequente aos embeddings fundidos de múltiplas camadas. Ela penaliza o desequilíbrio espectral na covariância do embedding (incentivando uma distribuição uniforme de autovalores) e penaliza configurações onde os centróides de classe abrangem volumes baixos (indicando colapso). Diferentemente de regularizadores de pré-treinamento (por exemplo, VICReg), o GeoReg opera especificamente durante a fase de transferência para preservar a geometria identificada pelo LOES contra gradientes de tarefa concorrentes.

Contribuições Principais

• Demonstração Empírica: O artigo demonstra que as representações ótimas para tarefas subsequentes raramente são apenas a camada final, mas sim um subespaço específico da tarefa formado por um subconjunto de camadas intermediárias.
• Algoritmo LOES: Um algoritmo espectral que identifica combinações ótimas de camadas minimizando o erro residual sob restrições geométricas (isotropia e ortogonalidade). Ele supera baselines de ponderamento aprendível construindo explicitamente subespaços com alto rank efetivo e baixa anisotropia.
• Lente de Interpretabilidade: Ao analisar preferências de seleção de camadas, o método revela onde diferentes modelos fundamentais codificam atributos semânticos ou estruturais específicos, mostrando que paradigmas de pré-treinamento (por exemplo, contrastivo vs. reconstrução mascarada) influenciam sistematicamente a distribuição de informações.
• GeoReg: Uma função de perda que melhora a estabilidade em configurações de ajuste fino, mitigando o colapso de características frequentemente observado em modelos de grande escala.
• Escalabilidade: O método mostra ganhos de desempenho que escalam com a profundidade do modelo e são agnósticos à modalidade, funcionando em arquiteturas de visão, linguagem, fala e multimodais.

Resultados

Os autores avaliaram o LOES em um conjunto diversificado de arquiteturas (DINOv2, CLIP, BERT, ModernBERT, Wav2Vec 2.0) e conjuntos de dados (ImageNet, benchmarks MTEB, ASVspoof, etc.).

• Ganhos de Desempenho: O LOES supera consistentemente a transferência padrão da última camada e as baselines de ponderamento aprendível. Os ganhos são particularmente pronunciados em modelos mais profundos e regimes de pré-treinamento diversos. Por exemplo, no ModernBERT, o LOES melhorou a precisão de 78,07% para 94,48% na tarefa MTOP, enquanto o BERT-large viu um ganho modesto de 95,32% para 97,81%.
• Influência do Pré-treinamento: Modelos pré-treinados em corpora grandes e diversos (por exemplo, CLIP, DINOv2) tendem a distribuir informações relevantes para a tarefa nas camadas iniciais a médias, enquanto modelos treinados em distribuições mais estreitas (por exemplo, MAE, ViT treinado no ImageNet) concentram características discriminativas nas camadas posteriores.
• Cross-Lingual e Cross-Modal: O LOES oferece benefícios significativos para línguas sub-representadas (por exemplo, +10,9% em Urdu) e adapta-se efetivamente a tarefas de fala (por exemplo, detecção de falsificação vs. reconhecimento de emoção exigindo diferentes profundidades de camada).
• Eficiência: O método introduz sobrecarga computacional mínima (tipicamente <1% de aumento no tempo de relógio) e contagem de parâmetros (<1% de aumento), pois depende de regressão de ridge de forma fechada em um pequeno conjunto de calibração.
• Comparação: O LOES supera a busca exaustiva sobre subconjuntos de camadas (recuperando soluções próximas ao ótimo a uma fração do custo) e baselines de seleção gananciosa.

Significado e Alegações

O artigo alega que a geometria do embedding por camada não é incidental, mas central para como modelos profundos representam e transferem conhecimento. Ao ir além da suposição de utilidade semântica monotônica, o trabalho fornece fortes evidências de que a transferência eficaz depende da identificação de quais camadas codificam estrutura discriminativa de tarefa e de como seus embeddings estão organizados geometricamente.

Os autores posicionam o LOES não apenas como um impulsionador de desempenho, mas como uma ferramenta para interpretabilidade, oferecendo uma visão estruturada de como fatores semânticos são distribuídos através das camadas. Eles alegam que, à medida que os modelos fundamentais se expandem e diversificam, a seleção principista de camadas torna-se cada vez mais valiosa, particularmente para domínios de baixo recurso e sub-representados onde apenas as camadas finais capturam inadequadamente informações relevantes para a tarefa. O trabalho sugere que a geometria das representações intermediárias é um recurso crítico, mas subutilizado, para adaptação de modelos eficiente e transparente.