Résumé Technique : Autolearn – Apprendre par la Surprise, S'engager par la Preuve

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) actuels manquent de la capacité d'apprendre à partir des documents qu'ils lisent après leur déploiement. Les nouvelles informations entrent dans la fenêtre de contexte comme un tampon temporaire et sont rejetées une fois le contexte terminé. Les solutions existantes échouent à combler efficacement ce fossé de « l'apprentissage » :

• Le Fine-tuning (ajustement fin) impose des mises à jour de poids indiscriminées, entraînant un oubli catastrophique des connaissances antérieures.
• La Génération Augmentée par la Récupération (RAG) évite les mises à jour de poids mais échoue à consolider les informations dans la mémoire à long terme, souffrant de pollution du contexte et d'une incapacité à former des inférences transversales aux documents.
• Les méthodes de Modification des Connaissances et d'Apprentissage Continu ne sont soit pas évolutives, soit nécessitent une supervision externe.

Une difficulté fondamentale réside dans la distinction entre la nouveauté (une véritable nouvelle connaissance) et le bruit (des faussetés plausibles ou de la corruption). Les deux produisent une perte par token anormalement élevée (surprise). Sans vérification externe, ouvrir l'optimiseur à un contenu à perte élevée risque de corrompre les poids du modèle. De plus, le fine-tuning supervisé (SFT) standard sur du texte brut conduit souvent à une mémorisation de séquences de tokens plutôt qu'à une compréhension sémantique, car le modèle encode les ordres exacts des mots.

2. Méthodologie : Le Pipeline Autolearn

Autolearn est un cadre d'entraînement postérieur auto-gated qui permet aux modèles d'apprendre à partir de documents sans supervision externe. Il opère en trois étapes, reflétant une architecture cognitive de détection de la surprise, d'auto-vérification et de consolidation de la mémoire.

Étape 1 : Détecter et Ancrer (Surprise)

Le système calcule la surprise au niveau du passage ($S_i$) en agrégeant la perte par token ($s_t = -\log p_\theta(x_t | x_{<t})$) sur une fenêtre glissante.

• Signalisation : Les passages où $S_i > \tau$ (un seuil calibré sur du contenu connu) sont signalés comme « surprenants ».
• Ancrage : Pour chaque passage signalé, le système enregistre un tuple d'ancrage $G_i = (P_i, S_i, d_i)$, où $d_i$ est le taux de chute (diminution normalisée de la surprise du début à la fin du passage).
• Résultat : Cette étape filtre le contenu que le modèle ne connaît pas déjà bien, mais ne permet pas encore de distinguer entre une véritable nouveauté et une corruption.

Étape 2 : Vérifier, Noter et Digérer (Auto-vérification)

Au lieu d'accepter ou de rejeter un passage, le modèle génère une chaîne de questions-réponses pour articuler ses propres connaissances concernant les affirmations du passage.

• Génération : Le modèle génère $N$ paires question-réponse, où $N$ est proportionnel à la surprise du passage ($N = \lceil S_i \cdot c \rceil$). Les questions sont étiquetées par origine épistémique :
  • [existant] : Confirme les faits de base supposés par le passage.
  • [mécanisme] : Sonde les étapes causales spécifiques proposées dans le passage (par exemple, « La protéine X se lie-t-elle au récepteur Y ? »).
  • [implication] : Teste si les conséquences entrent en conflit avec des faits connus.
• Vérification de la cohérence : Chaque paire est validée par rapport aux connaissances existantes du modèle.
  • Les échecs sur les questions [mécanisme] ou [implication] provoquent une « rupture dure » dans la chaîne.
  • Les échecs sur les questions [existant] sont traités avec indulgence.
• Profondeur de conviction ($k$) : La chaîne produit un score $k$ (nombre de questions réussies). Cette $k$ détermine la force de l'apprentissage. Les passages qui échouent tôt reçoivent un apprentissage faible ; ceux qui complètent la chaîne entière reçoivent un engagement fort.
• Enregistrements d'étrangeté : Si une chaîne se brise, le raisonnement derrière l'échec est converti en un élément d'entraînement encadré par l'incertitude (« Le passage affirme X, mais je suis incertain... »), permettant au modèle d'apprendre la frontière de ses connaissances.

Étape 3 : Mise à Jour des Poids Gated (Consolidation)

L'entraînement a lieu sur les paires Q&R vérifiées et les enregistrements d'étrangeté.

• Ajustement de $\beta_2$ proportionnel à la conviction : Le cadre ajuste le paramètre de second moment $\beta_2$ de l'optimiseur AdamW en fonction de la profondeur de conviction $k$ :
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  où $r \in (0, 1)$ est un facteur de décroissance. Une $k$ plus élevée (vérification plus forte) abaisse légèrement $\beta_2$, permettant aux gradients de s'accumuler plus efficacement pour les éléments bien vérifiés.
• Format d'entraînement : Crucialement, l'entraînement est effectué sur des paires Q&R plutôt que sur du texte brut. Cela force le modèle à encoder des associations sémantiques (question $\to$ réponse) plutôt que des séquences de tokens.

3. Contributions Clés

La Métrique de l'Écart de Perturbation

L'article introduit l'écart de perturbation (rapport de perplexité entre paraphrase et original) comme métrique pour distinguer la mémorisation de la compréhension.

• Mémorisation : Si un modèle mémorise des séquences de tokens, il prédit bien le texte original mais échoue sur les paraphrases, résultant en un écart élevé ($\gg$ ligne de base pré-entraînée).
• Compréhension : Si un modèle apprend des associations sémantiques, il prédit à la fois le texte original et le texte paraphrasé de manière similaire, résultant en un écart proche de la ligne de base pré-entraînée.
• Signification : Un écart inférieur à la ligne de base pré-entraînée indique un « apprentissage sémantique pur » où la compréhension s'améliore sans mémorisation de séquences de tokens.

Propriété d'Auto-extinction

Le système est auto-limitant. À mesure que le modèle apprend un passage, sa surprise ($S_i$) diminue. Une fois que $S_i$ chute en dessous du seuil $\tau$, le passage n'est plus signalé lors des rencontres futures. Le système converge naturellement vers un comportement AdamW standard à mesure qu'il épuise le contenu « surprenant » d'un document.

Apprentissage Sélectif par Gating dans l'Espace des Données

Contrairement aux méthodes d'apprentissage continu précédentes qui effectuent un gating dans l'espace des paramètres (par exemple, EWC), Autolearn effectue un gating dans l'espace des données. Il contrôle quels éléments sont appris et avec quelle force via des ajustements de $\beta_2$ par élément, un mécanisme jamais proposé auparavant pour une consolidation sélective.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3-14B (et répliquées sur Qwen3-8B/32B et Phi-4-14B) en utilisant un corpus de 60 passages (20 connus, 20 nouveaux, 20 corrompus).

Mémorisation vs Compréhension

• Autolearn est la seule méthode qui entre dans le régime « sous-ligne de base ».
  • Écart pré-entraîné : 2,204.
  • Autolearn (meilleur) : 2,098 ($\Delta = -0,106$, $>10\sigma$).
  • SFT standard (meilleur) : 2,194 ($\Delta = -0,010$, $<1\sigma$, dans le bruit).
• Cela confirme que le format d'entraînement Q&R supprime la mémorisation de séquences de tokens, permettant un apprentissage sémantique pur.

Acquisition de Connaissances

• Évaluation Stochastique : En utilisant un échantillonnage à température 0,7, la probabilité de générer des faits nouveaux corrects a augmenté significativement après l'entraînement (par exemple, de 6 % à 54 % pour un fait sur un substrat de graphène, $p < 10^{-4}$).
• Nouveauté vs Corruption : Autolearn a égalé ou dépassé le SFT dans la résistance au contenu corrompu (par exemple, 50,5 % de précision sur les questions directes corrompues contre 47,4 % pour le SFT à $lr=5\times10^{-5}$).
• Dominance du Format : Les études d'ablation ont montré que le format Q&R est le principal moteur de la suppression de la mémorisation. L'ajustement de $\beta_2$ (comparaison $r=1,0$ vs $r=0,999$) a produit des écarts de perturbation presque identiques, suggérant que le format, et non le gating, est le facteur dominant à l'échelle actuelle.

Généralisation Inter-modèles

Le modèle se maintient à travers quatre modèles (Qwen3-8B, 14B, 32B ; Phi-4-14B). Autolearn atteint systématiquement un écart de perturbation inférieur au SFT et est la seule méthode à entrer dans la région sous-ligne de base.

5. Signification et Revendications

L'article revendique qu'Autolearn démontre une voie viable pour l'acquisition autonome de connaissances dans les LLM sans supervision externe. Sa signification principale réside dans :

1. Résolution du Problème Nouveauté/Bruit : En utilisant des chaînes de questions-réponses auto-générées pour la vérification, le modèle peut distinguer les faussetés plausibles de la véritable nouveauté basée sur la cohérence interne, même sans oracles externes.
2. Prévention de la Mémorisation : Il prouve que le format des données d'entraînement (Q&R vs texte brut) est le facteur critique déterminant si l'apprentissage aboutit à une compréhension sémantique ou à une mémorisation par cœur.
3. Auto-régulation : Le système est « auto-extinguible », arrêtant automatiquement le processus d'apprentissage pour un passage une fois compris, empêchant le surapprentissage et les boucles infinies.

Les auteurs notent des limitations, notamment la dépendance aux connaissances existantes du modèle pour la vérification (qui peut valider des erreurs cohérentes) et le besoin actuel que le modèle soit suffisamment grand (par exemple, >3 milliards de paramètres) pour discriminer efficacement la nouveauté de la corruption. Le cadre est présenté comme un analogue computationnel de la consolidation de la mémoire biologique (interaction hippocampe-néocortex), offrant un mécanisme pour que les LLM « étudient » ce qu'ils lisent.