🤖 machine learning

On the Power of Foundation Models

Ce papier utilise la théorie des catégories pour démontrer que, si l'apprentissage par prompt est strictement limité aux tâches représentables, un modèle de fondation suffisamment puissant avec un ajustement fin peut théoriquement résoudre toute tâche en aval au sein de la catégorie définie par sa tâche de prétexte et généraliser à des objets non vus par le biais d'une mapping structurel.

Auteurs originaux : Yang Yuan

Publié 2026-04-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yang Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Un Super-Cerveau peut-il tout faire ?

Imaginez un étudiant qui a lu tous les livres de l'univers, dispose d'un temps infini pour étudier et ne commet jamais d'erreur lors de ses tests d'entraînement. Les auteurs posent une question simple : Si cet étudiant est parfait sur ses tests d'entraînement, peut-il automatiquement résoudre n'importe quel nouveau problème que vous lui lancez ?

Dans le monde de l'IA, cet « étudiant » est un Modèle de Fondation (comme ceux derrière ChatGPT ou les générateurs d'images). Les « tests d'entraînement » sont appelés tâches de prétexte (par exemple, prédire le mot suivant dans une phrase, ou deviner comment une image a été tournée).

Le papier soutient que les théories existantes (concernant la quantité de données ou la puissance de calcul) ne peuvent pas répondre à cette question. À la place, les auteurs utilisent une branche des mathématiques appelée Théorie des Catégories (pensez-y comme à la « grammaire des structures ») pour déterminer ce que ces modèles peuvent et ne peuvent pas faire.

Ils ont découvert deux règles principales sur la façon dont ces modèles apprennent de nouvelles choses :

Règle n°1 : La Limite du « Prompt » (L'Analogie de la Carte de Bibliothèque)

Le Scénario : Vous voulez que le modèle effectue un nouveau travail (comme identifier des chats sur des photos), mais vous ne souhaitez pas le réentraîner. Vous lui donnez simplement une instruction spécifique ou un « prompt » (comme une carte de bibliothèque indiquant « Trouvez des chats »).

La Découverte : Le modèle ne peut résoudre le nouveau travail que si celui-ci est déjà « caché » à l'intérieur de la structure de son entraînement initial.

L'Analogie : Imaginez que le modèle est une Bibliothèque.

La Tâche de Prétexte (l'entraînement) est la façon dont la bibliothèque a organisé ses livres. Si la bibliothèque n'a organisé les livres que par « Couleur », alors les livres sont triés par Rouge, Bleu et Vert.
Le Prompt Tuning (réglage par prompt) équivaut à demander au bibliothécaire : « Pouvez-vous me trouver un livre sur l'Histoire ? »
Le Résultat : Si la bibliothèque n'était organisée que par Couleur, le bibliothécaire ne peut pas trouver un livre sur l'Histoire, même s'il a la meilleure mémoire du monde. La catégorie « Histoire » n'existe tout simplement pas dans la structure de la bibliothèque.
La Preuve du Papier : Les auteurs prouvent que si la tâche d'entraînement (comme deviner les rotations d'images) n'enseigne au modèle que le « tournoiement », le modèle ne peut pas être sollicité pour effectuer des tâches complexes comme la « segmentation » (découper) des objets, car le concept de « découper » n'a pas été intégré dans la structure de la bibliothèque.

En Résumé : Si vous n'enseignez au modèle que les échecs, vous ne pouvez pas simplement le « solliciter » pour qu'il joue au football. La nouvelle tâche doit être représentable par l'ancienne structure.

Règle n°2 : La Puissance du « Fine-Tuning » (L'Analogie de la Clé Maître)

Le Scénario : Vous êtes prêt à donner un peu d'entraînement nouveau au modèle (Fine-Tuning) en utilisant un petit jeu de données pour la nouvelle tâche.

La Découverte : C'est beaucoup plus puissant. Si le modèle a appris la « structure » du monde suffisamment bien lors de son entraînement initial, il peut apprendre n'importe quelle nouvelle tâche, à condition que vous lui donniez assez de ressources (données et puissance de calcul) pour faire les liens.

L'Analogie : Imaginez que le modèle est une Clé Maître taillée pour s'adapter aux serrures d'un bâtiment spécifique (la Tâche de Prétexte).

Le Fine-Tuning consiste à prendre cette Clé Maître et à la limer légèrement pour qu'elle s'adapte à une nouvelle porte dans un bâtiment différent.
Le Résultat : Tant que la Clé Maître a capturé l'essence des serrures du premier bâtiment, vous pouvez la remodeler pour ouvrir presque n'importe quelle porte dans le monde.
La Preuve du Papier : Les auteurs montrent que si le modèle est « idéal » (ayant parfaitement appris la structure d'entraînement), il contient toutes les informations nécessaires pour résoudre n'importe quelle tâche en aval. Les données d'entraînement pour la nouvelle tâche agissent simplement comme un guide pour montrer au modèle comment remodeler ces informations.

En Résumé : Le Fine-Tuning n'est pas limité par la « représentabilité » du prompt. Si les fondations sont solides, le modèle peut être adapté à presque n'importe quoi.

Règle n°3 : Le « Pont Magique » (L'Analogie du Traducteur)

Le Scénario : Que se passe-t-il lorsque nous combinons différents types de modèles, comme celui qui comprend le texte et celui qui comprend les images (Apprentissage Multimodal) ?

La Découverte : Le papier présente un « Théorème de Généralisation ». Il affirme que si vous construisez un pont parfait (une correspondance mathématique) entre deux mondes différents (par exemple, Texte et Images), la structure de l'un est préservée dans l'autre.

L'Analogie : Imaginez que vous avez un Dictionnaire qui traduit parfaitement le « Texte » en « Images ».

Dans le monde du Texte, vous avez le concept d'une « Chaise Avocat » (une chaise en forme d'avocat). Cet objet n'existe peut-être pas dans le monde réel, et aucune photo de lui n'existe dans vos données d'entraînement.
Cependant, parce que le monde du Texte possède une structure logique où « Avocat » et « Chaise » peuvent être combinés, et que votre Dictionnaire (le modèle) préserve parfaitement cette structure lors de la traduction vers le monde des Images...
Le Résultat : Le modèle peut « halluciner » ou générer une image parfaite d'une Chaise Avocat, même s'il n'en a jamais vu. Il n'a pas mémorisé l'image ; il a compris la relation entre les mots et a appliqué cette structure au monde des images.

La Preuve du Papier : Cela explique pourquoi des modèles comme DALL-E 2 ou CLIP peuvent créer des images de choses qui n'existent pas dans leurs ensembles d'entraînement. Ils ne se contentent pas de copier ; ils utilisent la logique structurelle du langage pour construire de nouvelles images.

Résumé des Affirmations du Papier

Le Prompting est Limité : Vous ne pouvez demander à un modèle de faire que des choses qui sont déjà « intégrées » à la façon dont il a été entraîné. Si l'entraînement ne lui a pas enseigné la structure de la nouvelle tâche, un simple prompt ne fonctionnera pas.
Le Fine-Tuning est Puissant : Si vous êtes prêt à faire un peu d'entraînement supplémentaire, un modèle qui a appris une bonne structure peut être adapté pour résoudre presque n'importe quelle tâche.
La Structure Crée de Nouvelles Choses : En mappant parfaitement la structure d'un domaine (comme le texte) vers un autre (comme les images), les modèles peuvent générer des choses qui n'ont jamais existé auparavant (comme une chaise avocat), car ils suivent les règles logiques de la structure, et non pas simplement mémorisent des images.

Les auteurs soulignent qu'ils ne parlent pas de tailles spécifiques de réseaux ou de quantités de données, mais plutôt de la structure logique des tâches elles-mêmes. Ils utilisent les mathématiques pour prouver que la « forme » de la tâche d'entraînement dicte la « forme » de ce que le modèle peut éventuellement faire.

1. Énoncé du problème

Le papier aborde une question fondamentale à l'ère des modèles de base : Étant donné des données de haute qualité infinies, une puissance de calcul infinie et un modèle infiniment grand avec un algorithme d'entraînement parfait (garantissant une erreur de généralisation nulle sur la tâche prétexte), un tel modèle peut-il résoudre n'importe quelle tâche en aval ?

Les théories existantes de l'apprentissage profond (représentation, optimisation et généralisation) sont insuffisantes pour y répondre car elles supposent généralement des distributions de données spécifiques, des architectures de réseaux ou des ressources finies. Les auteurs soutiennent que la limitation ne réside pas dans la capacité du modèle à apprendre, mais plutôt dans la représentation structurelle des tâches elles-mêmes. Le problème central consiste à déterminer quelles tâches en aval sont solubles par un modèle de base, uniquement sur la base de la structure induite par sa tâche de préentraînement (prétexte).

2. Méthodologie : Un cadre catégoriel

Les auteurs emploient la Théorie des Catégories comme principal outil mathématique pour analyser les modèles de base. Cette approche permet une perspective « modèle-agnostique », se concentrant sur les relations structurelles entre les points de données plutôt que sur des architectures de réseaux de neurones ou des fonctions de perte spécifiques.

Concepts clés définis :

Catégorie induite par le modèle de base ( $C_f$ ) : Un modèle de base $f: D \to H$ $f : D \to H$ (mappant les données vers des représentations) induit une catégorie où :
- Objets : Points de données modulo l'équivalence de représentation (c'est-à-dire $X \sim X'$ si $f(X) = f(X')$ ).
- Morphismes : Définis par une « lecture aveugle aux données » $k_f$ et des applications de composition dérivées des opérations de la tâche prétexte (par exemple, la translation dans l'espace des caractéristiques pour l'apprentissage contrastif, ou l'ajout de tokens pour la modélisation du langage).
Embedding de Yoneda ( $h_C$ ) : Le papier utilise le Lemme de Yoneda pour interpréter la représentation du modèle $f(X)$ comme un foncteur représentable $h_C(X) = \text{Hom}_C(X, \cdot)$ . Cela mappe l'espace des caractéristiques internes vers une catégorie de foncteurs ( $C^\vee$ ), encodant efficacement les relations structurelles des données.
Représentation de la tâche : Les tâches en aval sont définies comme des foncteurs $T \in C^\vee$ . Résoudre une tâche signifie que le modèle peut produire une sortie isomorphe à $T(X)$ .

3. Contributions et résultats clés

Le papier établit trois théorèmes principaux concernant les capacités des modèles de base sous deux stratégies d'adaptation : le Prompt Tuning (réglage par incitation) et le Fine Tuning (réglage fin).

A. Les limites du Prompt Tuning (Théorème 3)

Résultat : Un modèle de base peut résoudre une tâche en aval $T$ en utilisant le prompt tuning si et seulement si la tâche $T$ est représentable dans la catégorie induite par la tâche prétexte.
Implication : Le prompt tuning est strictement limité par la richesse structurelle de la tâche prétexte. Si la tâche prétexte (par exemple, la prédiction de rotation) n'induit qu'une structure de groupe simple, le modèle ne peut pas résoudre des tâches en aval complexes (par exemple, la segmentation sémantique) uniquement par des incitations, quelle que soit la taille du modèle.
Corollaire 1 : Plus précisément, les tâches prétexte de prédiction de rotation ne garantissent pas la capacité à résoudre des tâches de niveau contenu comme la classification ou la segmentation par incitation, car la catégorie induite manque de la complexité structurelle nécessaire.

B. La puissance du Fine Tuning (Théorème 5)

Résultat : Contrairement au prompt tuning, le fine tuning n'a pas de telle limitation structurelle. Si un modèle de base possède la puissance minimale requise pour résoudre la tâche prétexte (jusqu'à la symétrie) et dispose de ressources suffisantes (données et calcul) pour la tâche en aval, il peut théoriquement résoudre n'importe quelle tâche en aval définie dans la catégorie $C^\vee$ .
Mécanisme : Le fine tuning permet au modèle d'apprendre un foncteur d'extension (via le théorème d'extension de Yoneda) qui mappe l'espace de représentation pré-entraîné vers l'espace de la tâche cible spécifique.
Signification : Cela suggère que le « goulot d'étranglement » des modèles de base n'est pas la capacité de fine tuning elle-même, mais la qualité de la tâche prétexte. Une tâche prétexte riche crée une catégorie $C$ riche, ce qui élargit à son tour l'espace des tâches en aval solubles.

C. Généralisation et apprentissage multimodal (Théorèmes 6 et 7)

Résultat : Le papier présente un Théorème de généralisation pour l'apprentissage structurel. Si un « foncteur aligné sur les caractéristiques » existe entre deux catégories (par exemple, Texte et Image), l'information structurelle de la catégorie source est préservée dans l'espace des caractéristiques de la catégorie cible.
Application aux objets « non vus » : Cela explique comment des modèles comme CLIP ou DALL-E 2 peuvent générer ou reconnaître des objets absents des données d'entraînement (par exemple, une « chaise avocat »). Le modèle apprend les relations structurelles (morphismes) entre les catégories de texte et d'image. Si le texte « chaise avocat » est une composition valide dans la catégorie de texte, le foncteur aligné sur les caractéristiques mappe cette structure vers un objet correspondant (potentiellement non vu) dans la catégorie d'image.
Théorème de composition (Théorème 7) : Ce cadre s'étend aux chaînes de catégories, expliquant comment les modèles multimodaux peuvent connecter des domaines disparates (par exemple, Langue A $\to$ Langue B $\to$ Image) en composant des foncteurs.

4. Signification et impact

Passage des données/architecture à la structure : Le papier déplace l'attention théorique de la quantité de données ou de la profondeur du réseau vers la structure algébrique des tâches. Il postule que la « puissance » d'un modèle de base est déterminée par la catégorie qu'il induit, et non seulement par son nombre de paramètres.
Justification théorique de la conception prétexte : Il fournit un cadre mathématique rigoureux pour l'Apprentissage Auto-supervisé (SSL). Il explique pourquoi certaines tâches prétexte fonctionnent mieux que d'autres : elles induisent des catégories avec des morphismes plus riches, permettant une plus grande variété de tâches en aval.
Explication des capacités « Zero-Shot » : Le cadre basé sur Yoneda offre une explication formelle de la façon dont les modèles de base généralisent à des concepts non vus (généralisation compositionnelle) en les traitant comme des compositions structurelles au sein d'une catégorie, plutôt que de simples corrélations statistiques.
Distinction entre Prompting et Fine-tuning : Il clarifie la frontière théorique entre l'ingénierie des incitations (limitée par la représentabilité) et le fine tuning (limité uniquement par les ressources et la richesse de la catégorie pré-entraînée).

Conclusion

Le papier soutient qu'avec des ressources infinies, la capacité d'un modèle de base à résoudre des tâches est fondamentalement contrainte par la structure catégorielle apprise lors du préentraînement. Alors que le prompt tuning est restreint aux tâches qui sont structurellement représentables dans cette catégorie, le fine tuning peut débloquer n'importe quelle tâche au sein de cet espace structurel. De plus, le cadre démontre que l'apprentissage multimodal est essentiellement l'alignement de foncteurs entre différentes catégories, permettant la génération et la reconnaissance d'objets nouveaux et non vus par composition structurelle.