Resumen Técnico: Desvelando el Potencial Latente de las Representaciones Intermedias Profundas

Enunciado del Problema

Los modelos fundamentales, preentrenados en conjuntos de datos masivos, aprenden representaciones jerárquicas que evolucionan a través de la profundidad de la red. La suposición predominante en el aprendizaje por transferencia es que la utilidad semántica aumenta de manera monótona con la profundidad, lo que lleva a la práctica estándar de utilizar únicamente la salida de la capa final para tareas posteriores. Sin embargo, análisis empíricos recientes desafían esta visión, demostrando que las capas intermedias a menudo superan a las representaciones finales en hasta un 10% en tareas posteriores. Este fenómeno surge porque las capas finales pueden especializarse en exceso en los objetivos de preentrenamiento (por ejemplo, predicción del siguiente token) o sufrir un colapso de representaciones. Además, la información relevante para la tarea se distribuye de manera no monótona a través de las capas, lo que significa que la agregación ingenua o el ponderado simple de capas no logra recuperar el subespacio óptimo específico de la tarea. El problema central abordado es cómo identificar y fusionar sistemáticamente el subconjunto específico de capas intermedias que codifican una estructura discriminativa de la tarea sin incurrir en costos computacionales prohibitivos.

Metodología

Los autores proponen un marco unificado que comprende dos componentes acoplados: Selección Óptima de Incrustaciones por Capa (LOES) y Regularización Geométrica (GeoReg).

1. Selección Óptima de Incrustaciones por Capa (LOES)

LOES es un marco espectral constructivo diseñado para aproximar el subespacio óptimo para la tarea mediante la selección iterativa de capas no redundantes. Formula la selección de capas como un problema de optimización de residuo de cresta (ridge-residual) restringido por ortogonalidad e isotropía. El algoritmo procede en dos etapas:

• Inicialización: La primera capa se selecciona ajustando una sonda de cresta contra los objetivos originales y minimizando una puntuación que combina la pérdida de ajuste con un término de isotropía.

• Selección Iterativa: Dado un conjunto actual de capas seleccionadas $S$, las capas candidatas se ortogonalizan contra el span de $S$ para aislar el poder explicativo marginal. Cada candidato se puntúa utilizando un objetivo compuesto (Ecuación 7):
  $$\text{Puntuación}(\ell) = \text{Pérdida}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$$
  Donde:

  • $\text{Pérdida}_\ell$: Error cuadrático medio de una sonda de cresta sobre el residuo ortogonalizado.
  • $\text{Iso}(X_\ell)$: Una puntuación de isotropía derivada de los valores propios de la covarianza empírica, que promueve incrustaciones bien condicionadas.
  • $\text{Red}_\ell$: Un término de redundancia que mide la alineación global del candidato con las capas ya seleccionadas.
  • $\text{Tri}(\tilde{X}_\ell)$: Un término opcional para clasificación que estima el área promedio del triángulo de los centroides de clase para fomentar estructuras de simplex de alto volumen.

  La capa que minimiza esta puntuación se selecciona, se reajusta contra los objetivos originales y se añade al conjunto. Este proceso se repite hasta alcanzar un presupuesto $K$.

2. Regularización Geométrica (GeoReg)

Para prevenir la degradación de propiedades geométricas favorables (como la isotropía y la separación de clases) durante el ajuste fino, los autores introducen GeoReg. Esta pérdida auxiliar se aplica durante la adaptación posterior a las incrustaciones fusionadas de múltiples capas. Penaliza el desequilibrio espectral en la covarianza de la incrustación (fomentando una distribución uniforme de los valores propios) y penaliza configuraciones donde los centroides de clase abarcan volúmenes bajos (indicando colapso). A diferencia de los regularizadores de preentrenamiento (por ejemplo, VICReg), GeoReg opera específicamente durante la fase de transferencia para preservar la geometría identificada por LOES frente a gradientes de tarea competitivos.

Contribuciones Clave

• Demostración Empírica: El documento demuestra que las representaciones óptimas para tareas posteriores rara vez son la capa final por sí sola, sino más bien un subespacio específico de la tarea formado por un subconjunto de capas intermedias.
• Algoritmo LOES: Un algoritmo espectral que identifica combinaciones óptimas de capas minimizando el error residual bajo restricciones geométricas (isotropía y ortogonalidad). Supera a las líneas base de ponderación aprendible al construir explícitamente subespacios con alto rango efectivo y baja anisotropía.
• Lente de Interpretabilidad: Al analizar las preferencias de selección de capas, el método revela dónde codifican diferentes modelos fundamentales atributos semánticos o estructurales específicos, mostrando que los paradigmas de preentrenamiento (por ejemplo, contraste frente a reconstrucción enmascarada) influyen sistemáticamente en la distribución de la información.
• GeoReg: Una función de pérdida que mejora la estabilidad en entornos de ajuste fino, mitigando el colapso de características a menudo observado en modelos a gran escala.
• Escalabilidad: El método muestra ganancias de rendimiento que escalan con la profundidad del modelo y son agnósticas a la modalidad, funcionando en arquitecturas de visión, lenguaje, voz y multimodales.

Resultados

Los autores evaluaron LOES en un conjunto diverso de arquitecturas (DINOv2, CLIP, BERT, ModernBERT, Wav2Vec 2.0) y conjuntos de datos (ImageNet, puntos de referencia MTEB, ASVspoof, etc.).

• Ganancias de Rendimiento: LOES supera consistentemente a la transferencia estándar de última capa y a las líneas base de ponderación aprendible. Las ganancias son particularmente pronunciadas en modelos más profundos y regímenes de preentrenamiento diversos. Por ejemplo, en ModernBERT, LOES mejoró la precisión del 78,07% al 94,48% en la tarea MTOP, mientras que BERT-large vio una ganancia modesta del 95,32% al 97,81%.
• Influencia del Preentrenamiento: Los modelos preentrenados en corpora grandes y diversos (por ejemplo, CLIP, DINOv2) tienden a distribuir la información relevante para la tarea en capas tempranas a medias, mientras que los modelos entrenados en distribuciones más estrechas (por ejemplo, MAE, ViT entrenado en ImageNet) concentran características discriminativas en capas posteriores.
• Translingüístico y Transmodal: LOES proporciona beneficios significativos para idiomas subrepresentados (por ejemplo, +10,9% en urdu) y se adapta eficazmente a tareas de voz (por ejemplo, la detección de suplantación frente al reconocimiento de emociones requiere diferentes profundidades de capa).
• Eficiencia: El método introduce una sobrecarga computacional mínima (típicamente <1% de aumento en el tiempo de reloj) y en la cantidad de parámetros (<1% de aumento), ya que se basa en regresión de cresta de forma cerrada en un pequeño conjunto de calibración.
• Comparación: LOES supera a la búsqueda exhaustiva sobre subconjuntos de capas (recuperando soluciones cercanas a la óptima a una fracción del costo) y a las líneas base de selección voraz.

Significado y Afirmaciones

El documento afirma que la geometría de las incrustaciones por capa no es incidental, sino central en cómo los modelos profundos representan y transfieren conocimiento. Al ir más allá de la suposición de utilidad semántica monótona, el trabajo proporciona evidencia sólida de que la transferencia efectiva depende de identificar qué capas codifican una estructura discriminativa de la tarea y cómo se organizan geométricamente sus incrustaciones.

Los autores posicionan a LOES no meramente como un impulsor de rendimiento, sino como una herramienta para la interpretabilidad, ofreciendo una visión estructurada de cómo se distribuyen los factores semánticos a través de las capas. Afirman que, a medida que los modelos fundamentales escalan y se diversifican, la selección de capas basada en principios se vuelve cada vez más valiosa, particularmente para dominios de bajos recursos y subrepresentados donde las capas finales por sí solas no capturan adecuadamente la información relevante para la tarea. El trabajo sugiere que la geometría de las representaciones intermedias es un recurso crítico, aunque subutilizado, para una adaptación de modelos eficiente y transparente.