Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

Resumen Técnico: Tamaño Óptimo de Representación: Análisis de Alta Dimensión de Preentrenamiento y Sondeo Lineal

Planteamiento del Problema
Las pipelines de aprendizaje automático modernas dependen cada vez más de un paradigma de dos etapas: preentrenamiento sobre datos no etiquetados abundantes para extraer estructura reutilizable, seguido de ajuste fino o sondeo lineal sobre datos etiquetados limitados para tareas específicas. Aunque este enfoque ha generado una eficiencia muestral significativa, la comprensión teórica de cómo la dimensionalidad de la representación preentrenada influye en la generalización aguas abajo permanece incompleta. Específicamente, no está claro si el rendimiento óptimo requiere representaciones máximamente comprimidas (de baja dimensión) o de alta dimensión, y cómo esta elección depende de la interacción entre el volumen de datos de preentrenamiento, la escasez de etiquetas aguas abajo, la alineación de la tarea y las relaciones señal-ruido.

Metodología
Los autores proponen un modelo teórico analíticamente tratable para estudiar este proceso de aprendizaje de dos etapas en el régimen de alta dimensión (donde el número de características $p$, las muestras no etiquetadas $n_u$ y las muestras etiquetadas $n_l$ crecen proporcionalmente).

1. Etapa de Preentrenamiento: El modelo aprende representaciones mediante Análisis de Componentes Principales (PCA) sobre un conjunto de datos no etiquetado $X_u$ extraído de un modelo de covarianza con pico $\Sigma = I_p + (\lambda - 1)vv^\top$. El modelo retiene los $m$ componentes principales superiores, definiendo una matriz de proyección $P_m$.
2. Etapa Aguas Abajo: Se utiliza un conjunto de datos etiquetado separado $X_l, y_l$ para el aprendizaje supervisado. La tarea se modela como regresión lineal $y_l = X_l w^* + \xi$, donde $w^*$ es la señal de verdad fundamental y $\xi$ es ruido gaussiano. La regresión se realiza sobre las entradas proyectadas $X_l P_m$.
3. Análisis: Los autores derivan expresiones asintóticas exactas para el error de estimación, el error de generalización y el error de entrenamiento cuando $p, n_u, n_l, m \to \infty$. Analizan la dependencia de estos errores sobre la fracción de representación $\alpha = m/p$, las razones de aspecto $\gamma_u = p/n_u$ y $\gamma_l = p/n_l$, la fuerza del pico $\lambda$ y la alineación $\eta$ entre la señal de la tarea $w^*$ y el pico poblacional $v$.

Contribuciones Clave

1. Expresiones Asintóticas Exactas: El artículo deriva expresiones en forma cerrada para los errores de estimación, generalización y entrenamiento (Teoremas 1, 2 y 3). Estas expresiones descomponen el error en "señal faltante" (irrecuperable debido a muestras finitas), "señal filtrada" (sesgo inducido por el acoplamiento de subespacios ortogonales a través del pico poblacional) y términos de varianza.
2. Caracterización del Tamaño Óptimo de Representación: Los autores identifican regímenes distintos para la dimensionalidad óptima $\alpha^*$:
   • Preentrenamiento Escaso, Aguas Abajo Escaso: Cuando los datos de preentrenamiento son insuficientes para estimar fiablemente los componentes principales, las representaciones de alta dimensión ($\alpha \approx 1$) son óptimas.
   • Preentrenamiento Abundante, Aguas Abajo Escaso: Cuando los datos de preentrenamiento son abundantes pero las etiquetas aguas abajo son limitadas, las representaciones máximamente comprimidas ($\alpha < 1$) son óptimas. La compresión actúa como un regularizador, mitigando la varianza causada por el fenómeno de doble descenso en la tarea aguas abajo.
   • Aguas Abajo Abundante: Cuando las etiquetas aguas abajo son plentiful, se necesita poca compresión ($\alpha \approx 1$).
3. Transiciones de Fase: El estudio identifica fronteras precisas de transición de fase (Corolarios 1 y 2) donde la estrategia óptima cambia entre compresión y representaciones de rango completo. Estas fronteras dependen de manera no trivial de la relación señal-ruido (SNR), la fuerza del pico $\lambda$ y la alineación de la tarea $\eta$.
4. Cuantificación del Compromiso: Los autores cuantifican la tasa marginal de sustitución entre datos no etiquetados y etiquetados, mostrando regímenes donde datos no etiquetados adicionales reducen el error de generalización más eficazmente que muestras etiquetadas adicionales.

Resultados

• Predicciones Teóricas vs. Simulaciones: Las fórmulas asintóticas derivadas muestran un excelente acuerdo con simulaciones numéricas en diversas configuraciones de parámetros, incluidas variaciones en SNR, fuerza del pico y tamaños de muestra.
• Descomposición del Error: El análisis revela que en presencia de un pico poblacional, componentes de la señal ortogonales al subespacio retenido pueden "filtrarse" hacia el subespacio aprendido, creando un término de sesgo. Esta filtración es un efecto no trivial de la estructura de covarianza con pico que distingue este escenario de preentrenamiento de la Regresión de Componentes Principales (PCR) estándar.
• Validación en Modelos Realistas:
  • Autoencoders: Experimentos con autoencoders lineales y no lineales entrenados sobre datos de covarianza con pico confirman que la estructura de fase teórica persiste. Los autoencoders lineales coinciden estrechamente con el comportamiento del PCA, mientras que los autoencoders no lineales muestran desviaciones solo cuando los datos de preentrenamiento son escasos (donde tienden a memorizar en lugar de aprender el subespacio).
  • Transformadores Preentrenados: Experimentos de sondeo lineal en modelos de lenguaje Pythia demuestran que las representaciones aprendidas durante el preentrenamiento exhiben una estructura de covarianza con pico. Ajustar la dimensionalidad de la representación mediante PCA sobre estas representaciones mejora el rendimiento aguas abajo en la tarea de sentimiento SST-2, particularmente para conjuntos de datos aguas abajo pequeños y modelos entrenados durante más tiempo, alineándose con las predicciones teóricas.

Significado
El artículo proporciona un marco teórico principiado que explica por qué y cuándo la compresión durante el preentrenamiento mejora la generalización aguas abajo. Cuestiona la intuición de que más dimensiones son siempre mejores, mostrando en cambio que la dimensionalidad óptima es una función de la disponibilidad de datos y la estructura de la tarea. Específicamente, destaca que en pipelines modernas donde los datos de preentrenamiento son abundantes pero los datos aguas abajo son limitados, la compresión agresiva es teóricamente óptima. Además, el trabajo establece un compromiso cuantitativo entre el preentrenamiento no supervisado y el aprendizaje supervisado, ofreciendo perspectivas sobre la eficiencia muestral del aprendizaje por transferencia. Los hallazgos cierran la brecha entre la teoría de matrices aleatorias idealizada y las observaciones empíricas en el aprendizaje profundo, sugiriendo que la baja dimensionalidad intrínseca observada en los modelos de lenguaje grandes no es meramente un subproducto, sino una característica que puede aprovecharse para una adaptación óptima.