The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Résumé Technique : Le bénéfice information-théorique des représentations partagées sous contraintes d'orthogonalité

Énoncé du Problème
Les architectures modernes de l'apprentissage profond, particulièrement les modèles fondateurs, reposent de plus en plus sur des représentations partagées où un tronc commun (backbone) extrait des caractéristiques pour plusieurs têtes spécifiques à chaque tâche. Bien que les preuves empiriques suggèrent qu'un apprentissage multi-tâche conjoint surpasse l'apprentissage de tâches séparées, la compréhension théorique rigoureuse de la complexité paramétrique de l'approximation conjointe par rapport à l'approximation séparée reste limitée. Cette lacune est particulièrement aiguë lorsque les modèles doivent satisfaire des contraintes structurelles, telles que l'orthogonalité, qui sont courantes dans l'apprentissage automatique scientifique (par exemple, pour assurer des lois de conservation ou l'équivariance). La question centrale abordée est de savoir si une approximation conjointe d'une fonction vectorielle $F = (f_1, \dots, f_M)$ peut atteindre un taux d'approximation strictement meilleur que $M$ approximations séparées de ses composantes, même lorsque les composantes sont contraintes d'être orthogonales. Les auteurs étudient cela dans la norme uniforme ($L^\infty$), un régime critique pour les applications scientifiques où les garanties d'erreur doivent être valables en tout point de l'espace ou du temps, indépendamment des mesures d'échantillonnage.

Méthodologie
Les auteurs emploient un cadre information-théorique basé sur la discrétisation à nombre fini de bits (théorie des codecs) pour quantifier la longueur de description requise pour approximer des classes de fonctions. Ils construisent une classe spécifique de fonctions vectorielles orthogonales conçue pour isoler la complexité de la caractéristique partagée de celle des lectures spécifiques aux tâches.

1. Construction de la Classe de Fonctions :

   • Caractéristique Partagée : La difficulté centrale est ancrée dans une série de ondelettes Rademacher-Haar scalaire $g$. Les coefficients de cette série forment un arbre dyadique de signes indépendants, créant une cible « difficile » pour l'approximation uniforme où la queue non résolue porte la majeure partie de la complexité.
   • Têtes Orthogonales : Pour imposer l'orthogonalité sans éliminer l'information partagée, les auteurs composent $g$ avec des fonctions de Sawtooth-Walsh. Ces lectures, $f_i$, sont des applications non linéaires qui décorrelent les sorties (assurant $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$) tout en préservant la difficulté d'approximation au sein de la caractéristique partagée $g$.
   • Composition : La classe cible est $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$.

2. Schémas de Codage :

   • Codage Séparé : $M$ paires encodeur/décodeur indépendantes, chacune allouée un budget de bits $n_i$, approximant chaque coordonnée $f_i \circ g$ individuellement.
   • Codage Conjoint : Une seule paire encodeur/décodeur avec un budget de bits total $N = M \cdot \min(n_i)$ approximant l'ensemble de la fonction vectorielle simultanément.

3. Réalisation par Réseaux de Neurones :

   • Pour combler le fossé entre la théorie abstraite des codecs et les réseaux de neurones, les auteurs construisent des réseaux explicites à activation de Heaviside. Ils utilisent la nature par morceaux constante des ondelettes de Haar tronquées et des fonctions de Sawtooth-Walsh.
   • La multiplication ponctuelle (requise pour la composition $f_i \circ g$) est réalisée via une approximation récursive par ondes triangulaires (basée sur Yarotsky, 2017), permettant au réseau d'approximer le produit de la queue de la caractéristique partagée et des lectures fixes.

Résultats Clés
L'article établit une séparation nette dans les taux d'approximation entre le codage conjoint et le codage séparé pour la classe construite :

• Écart Théorique (Théorème 8) : Pour une classe de $M$ fonctions orthogonales générées par une caractéristique partagée de Rademacher-Haar, le ratio de l'erreur d'approximation séparée optimale sur l'erreur d'approximation conjointe optimale est borné inférieurement par :
  $$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$$
  Asymptotiquement, cela produit un écart d'ordre $M/4$. Cela démontre qu'un codec séparé doit encoder la caractéristique partagée « difficile » $M$ fois (une fois par coordonnée), tandis qu'un codec conjoint ne l'encode qu'une seule fois, indépendamment de la contrainte d'orthogonalité sur les sorties.

• Optimalité de la Troncature : Les auteurs prouvent que la troncature de la série Rademacher-Haar est une application de discrétisation à nombre fini de bits optimale, fournissant des bornes supérieures et inférieures explicites avec des constantes exactes. Cela évite de dépendre des estimations asymptotiques de l'entropie métrique.

• Réalisation par Réseau de Neurones (Corollaire 19) : La séparation est réalisée par des réseaux de neurones de Heaviside explicites. Une architecture conjointe avec un tronc partagé (encodant la caractéristique de Haar) et des têtes de lecture fixes atteint la même économie de bits que le codec conjoint optimal. Inversement, $M$ réseaux séparés avec une longueur de description totale équivalente subissent la dégradation de l'ordre $O(M)$ du taux d'approximation.

Signification et Revendications
Les auteurs affirment fournir le premier traitement mathématique rigoureux du bénéfice des représentations partagées d'un point de vue de la théorie de l'approximation, spécifiquement sous des contraintes géométriques comme l'orthogonalité.

• Réfutation des Arguments de Redondance : Les résultats clarifient que l'avantage de l'apprentissage conjoint n'est pas simplement un artefact de la moyenne statistique, de la redondance linéaire ou des hypothèses de distribution. Au lieu de cela, le gain provient strictement de la réduction de la complexité informationnelle obtenue en encodant une fois une caractéristique latente partagée plutôt que $M$ fois.
• Compatibilité de l'Orthogonalité : L'étude démontre que les contraintes d'orthogonalité, souvent perçues comme restrictives, n'empêchent pas l'efficacité des représentations partagées. En déplaçant la contrainte vers les têtes de lecture non linéaires, la caractéristique partagée reste la seule source de difficulté d'approximation.
• Aperçu sur les Modèles Fondateurs : Ce travail offre une justification théorique de l'architecture « tronc partagé, têtes multiples » des modèles fondateurs. Il suggère que même lorsque les sorties doivent satisfaire des contraintes physiques ou géométriques strictes (comme l'orthogonalité), l'extraction de caractéristiques coûteuse peut être amortie sur plusieurs tâches, à condition que les tâches partagent une structure latente.

L'article conclut avec modestie, notant que bien que le mécanisme soit prouvé pour cette classe constructive spécifique (Sawtooth-Walsh avec Rademacher-Haar), déterminer si ce facteur de séparation $M$ persiste pour des classes de réseaux de neurones plus larges, des caractéristiques plus lisses ou d'autres contraintes (par exemple, l'équivariance) reste un problème ouvert.