PERK: Long-Context Reasoning as Test-Time Learning

Les grands modèles de langage sont des outils puissants qui ont appris à lire et à écrire en étudiant de vastes quantités de texte. Ils excellent dans la détection de motifs et la réponse à des questions lorsque l'information est directement sous leurs yeux. Cependant, ces modèles sont confrontés à un obstacle majeur lorsque l'information dont ils ont besoin est enfouie à l'intérieur d'un mur massif de texte, tel qu'un document de la longueur d'un livre ou une longue transcription. À mesure que le texte s'allonge, les modèles peinent souvent à ignorer le bruit non pertinent et à trouver le fait spécifique nécessaire pour résoudre un problème. Cette difficulté est accentuée par une tendance de nombreux modèles à se concentrer lourdement sur le tout début ou la toute fin d'un texte, perdant ainsi la trace des détails cachés au milieu. Les chercheurs cherchent depuis longtemps des moyens d'aider ces modèles à gérer de telles tâches de « contexte long » sans exiger qu'ils soient réentraînés de zéro, un processus qui est souvent prohibitif en termes de coût et de temps.

Dans une nouvelle étude présentée à la conférence ICLR 2026, des chercheurs de l'EPFL proposent une solution appelée PERK, qui signifie Parameter Efficient Reasoning over Knowledge (Raisonnement sur la connaissance à efficacité de paramètres). Au lieu de forcer le modèle à lire un document massif d'un seul coup, PERK traite l'acte de lecture comme un processus d'apprentissage qui se produit au moment même où la question est posée. Imaginez un étudiant qui, en recevant un manuel épais et une question spécifique, parcourt rapidement les pages pour rédiger un ensemble concis de notes sur un bloc-notes. Une fois ces notes rédigées, l'étudiant peut ranger le manuel et répondre à la question en utilisant uniquement les notes. PERK fonctionne de manière similaire. Lorsqu'un document long est présenté, le modèle ne conserve pas l'intégralité du texte dans sa mémoire active. Au lieu de cela, il utilise une brève phase d'apprentissage interne pour compresser les parties les plus importantes de ce texte en un petit ensemble efficace d'ajustements de ses propres paramètres internes. Ces ajustements agissent comme un module de mémoire spécialisé, stockant l'essence du long document. Une fois ce « bloc-notes » créé, le texte original est écarté, et le modèle utilise ses nouveaux paramètres mis à jour pour répondre aux questions sur le contenu.

Les chercheurs ont développé une méthode d'entraînement qui enseigne au modèle comment effectuer cette compression et cette récupération efficacement. Ils ont utilisé une technique impliquant deux couches d'apprentissage. Dans la première couche, le modèle apprend à encoder rapidement un segment de texte dans ses paramètres de mémoire. Dans la seconde couche, le modèle apprend à utiliser ces paramètres pour répondre aux questions avec précision. Pour maintenir l'efficacité de ce processus et éviter que l'ordinateur ne manque de mémoire, le modèle ne met à jour qu'une infime fraction de ses paramètres totaux — spécifiquement, un composant léger ajouté connu sous le nom d'adaptateur de bas rang (low-rank adapter). Cela permet au modèle d'apprendre du contexte sans altérer sa base de connaissances fondamentale. Les chercheurs ont testé cette approche sur diverses tâches exigeantes, notamment la recherche d'un fait spécifique caché parmi des milliers de pages de texte, la réponse à des questions complexes nécessitant de relier plusieurs morceaux d'information, et la récupération de données à partir de longues listes d'enregistrements d'apparence similaire.

Les résultats ont montré que PERK surpasse de manière significative les méthodes standards où les modèles sont simplement entraînés sur des textes longs pour répondre plus tard. Lors de tests impliquant le modèle Qwen-2.5, PERK a amélioré la précision jusqu'à 20 % par rapport à ces approches standards. La méthode s'est avérée robuste, même lorsque le modèle était sollicité pour traiter des textes bien plus longs que ceux rencontrés durant son entraînement, réussissant à se généraliser à des contextes de 64 000 et même 128 000 jetons (tokens). De plus, PERK a démontré une capacité unique à ignorer la position de l'information. Alors que d'autres modèles échouent souvent lorsque le fait pertinent est déplacé du début ou de la fin d'un texte vers le milieu, PERK maintient une précision élevée quel que soit l'endroit où l'information apparaît. Cela suggère qu'en encodant le texte dans une structure de mémoire flexible plutôt qu'en s'appuyant sur des positions fixes, le modèle peut raisonner de manière plus fiable. L'approche a fonctionné de manière constante à travers différentes tailles de modèles, des très petits modèles de 0,5 milliard de paramètres aux plus grands de 8 milliards, et a même égalé ou surpassé les performances de modèles spécialisés et massifs conçus spécifiquement pour les contextes longs.

Au-delà de la précision, l'étude a mis en évidence l'efficacité de cette méthode. Parce que le modèle traite le texte en segments plus petits et gérables et écarte le texte original après l'encodage, il nécessite beaucoup moins de mémoire informatique pour gérer des documents extrêmement longs. Dans des tests où les méthodes standards ont échoué en raison de limites de mémoire à 128 000 jetons, PERK a continué à fonctionner, traitant l'information en une fraction du temps et en utilisant une fraction de la mémoire. Les chercheurs ont conclu qu'en recadrant le raisonnement en contexte long comme une tâche d'apprentissage au moment du test, où le modèle adapte sa propre mémoire à la volée, il est possible d'obtenir des performances supérieures sans le coût computationnel lourd de l'entraînement traditionnel. Cette approche offre une voie prometteuse pour rendre les grands modèles de langage plus capables de gérer les informations vastes et complexes présentes dans le monde réel.