The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Resumen Técnico: El Beneficio de la Información Teórica de las Representaciones Compartidas bajo Restricciones de Ortogonalidad

Planteamiento del Problema
Las arquitecturas modernas de aprendizaje profundo, particularmente los modelos fundacionales, dependen cada vez más de representaciones compartidas donde un único tronco (backbone) extrae características para múltiples cabezales específicos de cada tarea. Si bien la evidencia empírica sugiere que el aprendizaje multitarea conjunto supera al aprendizaje de tareas individuales separadas, la comprensión teórica rigurosa de la complejidad paramétrica de la aproximación conjunta frente a la separada es limitada. Esta brecha es particularmente aguda cuando los modelos deben satisfacer restricciones estructurales, como la ortogonalidad, que son comunes en el aprendizaje automático científico (por ejemplo, para asegurar leyes de conservación o equivariancia). La pregunta central abordada es si una aproximación conjunta de una función de valores vectoriales $F = (f_1, \dots, f_M)$ puede lograr una tasa de aproximación estrictamente mejor que $M$ aproximaciones separadas de sus componentes, incluso cuando los componentes están restringidos a ser ortogonales. Los autores investigan esto en la norma uniforme ($L^\infty$), un régimen crítico para aplicaciones científicas donde las garantías de error deben cumplirse en cualquier ubicación espacial o temporal, independientemente de las medidas de muestreo.

Metodología
Los autores emplean un marco de información teórica basado en la discretización de bits finitos (teoría de codecs) para cuantificar la longitud de descripción requerida para aproximar clases de funciones. Construyen una clase específica de funciones vectoriales ortogonales diseñada para aislar la complejidad de la característica compartida de las lecturas específicas de la tarea.

1. Construcción de la Clase de Funciones:

   • Característica Compartida: La dificultad central se incrusta en una serie de ondas de Haar-Rademacher escalar $g$. Los coeficientes de esta serie forman un árbol dicotómico de signos independientes, creando un objetivo "difícil" para la aproximación uniforme, donde la cola no resuelta conlleva la mayor parte de la complejidad.
   • Cabezales Ortogonales: Para imponer la ortogonalidad sin eliminar la información compartida, los autores componen $g$ con funciones de Sawtooth-Walsh. Estas lecturas, $f_i$, son mapas no lineales que decorrelacionan las salidas (asegurando que $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$) mientras preservan la dificultad de aproximación dentro de la característica compartida $g$.
   • Composición: La clase objetivo es $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$.

2. Esquemas de Codificación:

   • Codificación Separada: $M$ pares de codificador/decodificador independientes, cada uno con un presupuesto de bits $n_i$, aproximando cada coordenada $f_i \circ g$ de forma individual.
   • Codificación Conjunta: Un único par de codificador/decodificador con un presupuesto de bits total $N = M \cdot \min(n_i)$ que aproxima la función vectorial completa simultáneamente.

3. Realización mediante Redes Neuronales:

   • Para cerrar la brecha entre la teoría de codecs abstractos y las redes neuronales, los autores construyen redes explícitas de activación Heaviside. Utilizan la naturaleza de constantes a trozos de las ondas de Haar-Rademacher truncadas y las funciones de Sawtooth-Walsh.
   • La multiplicación puntual (requerida para la composición $f_i \circ g$) se realiza mediante una aproximación recursiva de onda de diente de sierra (basada en Yarotsky, 2017), lo que permite a la red aproximar el producto de la cola de la característica compartida y las lecturas fijas.

Resultados Clave
El artículo establece una separación nítida en las tasas de aproximación entre la codificación conjunta y la separada para la clase construida:

• Brecha Teórica (Teorema 8): Para una clase de $M$ funciones ortogonales generadas por una característica compartida de Rademacher-Haar, la relación entre el error de aproximación óptimo separado y el error de aproximación óptimo conjunto está acotada inferiormente por:
  $$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$$
  Asintóticamente, esto produce una brecha de orden $M/4$. Esto demuestra que un codec separado debe codificar la característica compartida "difícil" $M$ veces (una vez por coordenada), mientras que un codec conjunto la codifica solo una vez, independientemente de la restricción de ortogonalidad en las salidas.

• Optimidad del Truncamiento: Los autores demuestran que truncar la serie de Rademacher-Haar es un mapa de discretización de bits finitos óptimo para esta clase, proporcionando cotas superiores e inferiores explícitas con constantes exactas. Esto evita la dependencia de estimaciones de entropía métrica asintótica.

• Realización en Redes Neuronales (Corolario 19): La separación se realiza mediante redes neuronales Heaviside explícitas. Una arquitectura conjunta con un tronco compartido (que codifica la característica de Haar) y cabezales de lectura fijos logra la misma economía de bits que el codec conjunto óptimo. Por el contrario, $M$ redes separadas con una longitud de descripción total equivalente sufren la degradación de orden $O(M)$ en la tasa de aproximación.

Significado y Reivindicaciones
Los autores afirman proporcionar el primer tratamiento matemático riguroso del beneficio de las representaciones compartidas desde una perspectiva de la teoría de la aproximación, específicamente bajo restricciones geométricas como la ortogonalidad.

• Refutación de Argumentos de Redundancia: Los resultados aclaran que la ventaja del aprendizaje conjunto no es simplemente un artefacto del promedio estadístico, la redundancia lineal o los supuestos de distribución. En cambio, la ganancia proviene estrictamente de la reducción en la complejidad de la información lograda al codificar una característica latente compartida una sola vez en lugar de $M$ veces.
• Compatibilidad con la Ortogonalidad: El estudio demuestra que las restricciones de ortogonalidad, a menudo vistas como restrictivas, no impiden la eficiencia de las representaciones compartidas. Al trasladar la restricción hacia los cabezales de lectura no lineales, la característica compartida sigue siendo la única fuente de dificultad de aproximación.
• Perspectiva de los Modelos Fundacionales: Este trabajo ofrece una justificación teórica para la arquitectura de "tronco compartido, múltiples cabezales" en los modelos fundacionales. Sugiere que incluso cuando las salidas deben satisfacer estrictas restricciones físicas o geométricas (como la ortogonalidad), la extracción de características costosa puede amortizarse entre las tareas, siempre que las tareas compartan una estructura latente.

El artículo concluye con modestia, señalando que aunque el mecanismo se ha probado para esta clase constructiva específica (Rademacher-Haar con Sawtooth-Walsh), identificar si esta separación de factor-$M$ persiste para clases más amplias de redes neuronales, características más suaves u otras restricciones (por ejemplo, la equivariancia) sigue siendo un problema abierto.