A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

Les modèles de langage de grande taille sont des outils puissants capables de répondre à des questions et de rédiger des textes, mais ils possèdent une limite fondamentale : ils ne connaissent que ce qu'ils ont appris lors de leur entraînement initial. Si un modèle a besoin de connaître un fait spécifique et récent — comme le casting d'un nouveau film ou les spécifications d'une pièce de machinerie industrielle — il doit généralement recevoir cette information au moment même où l'on lui pose la question. La méthode standard pour y parvenir est appelée génération augmentée par récupération (RAG). Dans ce processus, le système trouve les faits pertinents dans une base de données, les colle dans la conversation, et demande au modèle de les lire et de fournir une réponse. Bien que cela fonctionne, cette méthode présente deux inconvénients. Premièrement, coller de grandes quantités de texte dans la conversation consomme un espace limité appelé fenêtre de contexte, ce qui ralentit le processus et coûte de l'argent. Deuxièmement, cela nécessite d'envoyer les données brutes à l'ordinateur qui exécute le modèle, ce qui peut représenter un risque de sécurité si ces données sont sensibles ou propriétaires.

Des chercheurs explorent une idée différente : au lieu de coller les faits dans la conversation à chaque fois, pourrions-nous intégrer directement les faits dans la mémoire du modèle ? Imaginez le modèle comme une bibliothèque. La méthode standard consiste à remettre un livre au bibliothécaire à chaque fois qu'une question est posée. La nouvelle approche demande si nous pouvons installer de façon permanente une étagère spécifique à l'intérieur de la bibliothèque pour chaque sujet, afin que le bibliothécaire puisse sortir la bonne étagère et lire ce qu'elle contient sans jamais voir le livre lui-même. Cet article examine si cela est possible pour les graphes de connaissances, qui sont des cartes structurées de faits concernant des choses comme des films, des personnes et leurs relations. Les chercheurs voulaient savoir s'ils pouvaient prendre un petit fragment de cette carte, le transformer en un minuscule ensemble d'ajustements des paramètres internes du modèle, et le stocker là. Si cela réussissait, le modèle pourrait répondre à des questions sur un film spécifique sans jamais être exposé aux données du film, simplement en « portant » l'ajustement interne approprié.

L'équipe a testé cette idée en utilisant un ensemble de données sur les informations cinématographiques. Ils ont pris les détails de films individuels — tels que le réalisateur, l'année de sortie et les acteurs — et ont converti ces faits en texte. Ils ont ensuite utilisé une technique appelée adaptation de bas rang (LoRA) pour entraîner un ensemble minuscule et spécialisé de poids pour chaque film. Considérez ces poids comme une empreinte digitale microscopique et unique qui modifie le comportement du modèle juste assez pour qu'il connaisse les détails de ce film spécifique. Ils ont créé une banque de ces empreintes, une pour chacun des 150 films différents. Le test crucial consistait à voir si le modèle pouvait répondre à des questions sur un film lorsqu'il portait l'empreinte de ce film, mais sans que les données textuelles du film ne lui soient présentées.

Les résultats ont montré que cette méthode fonctionne pour le stockage de connaissances. Lorsqu'on donnait au modèle la bonne empreinte pour un film, celui-ci pouvait répondre à des questions sur ce film avec une grande précision, même s'il n'avait jamais vu les données du film lors du test. En fait, pour les questions portant sur des faits uniques comme le réalisateur ou l'année de sortie, la performance du modèle passait de presque zéro à un taux de réussite élevé. Cela a prouvé que le modèle avait véritablement appris les faits et les avait stockés à l'intérieur de sa propre structure, plutôt que de simplement apprendre à les lire lorsqu'ils étaient présents. La connaissance était spécifique au film ; si le modèle recevait l'empreinte d'un autre film, il ne pouvait pas répondre à la question, et s'il recevait une empreinte aléatoire non entraînée, ses performances étaient encore moins bonnes qu'auparavant. Cela a confirmé que l'information était véritablement verrouillée dans l'ajustement spécifique de cette entité.

Cependant, l'étude a mis en évidence un obstacle important. Bien que la connaissance puisse être stockée, elle ne peut pas être facilement trouvée. Les chercheurs ont tenté de déterminer quelle empreinte utiliser en examinant simplement la question. Ils ont essayé de faire correspondre la question au film le plus similaire basé sur le sens du texte, et ils ont également essayé de faire correspondner la question à l'empreinte la plus similaire basée sur sa forme mathématique. Les deux méthodes ont totalement échoué. Le système n'a pas été plus performant qu'un choix aléatoire. La raison est que la connaissance est stockée localement et ne se transfère pas. Même si deux films sont très similaires — par exemple, s'ils ont été réalisés par le même réalisateur ou appartiennent au même genre — leurs empreintes sont complètement différentes. L'empreinte d'un film ne contient pas la réponse à une question sur l'autre, même si les deux films sont des voisins proches dans le monde du cinéma. La distance mathématique entre les empreintes reflète bien la similitude entre les films, mais elle ne permet pas de savoir quelle empreinte détient la réponse à une question spécifique.

Cela crée un fossé entre le stockage et la récupération. Les chercheurs ont prouvé que vous pouvez stocker des connaissances dans les poids du modèle sans coût en termes d'espace de conversation, mais que vous n'avez actuellement aucun moyen de trouver automatiquement l'unité de stockage appropriée sans déjà savoir laquelle vous avez besoin. Dans un système réel, vous auriez toujours besoin d'un outil séparé pour rechercher le titre du film correct et sélectionner la bonne empreinte, mais une fois cela fait, le modèle peut répondre sans jamais revoir les données brutes. Cela offre un avantage potentiel pour la confidentialité et l'efficacité, car les données brutes n'ont jamais besoin d'être envoyées au modèle pendant la conversation. Cependant, l'approche n'est pas une solution miracle pour tous les problèmes. Elle nécessite un coût initial pour créer les empreintes, et l'espace de stockage nécessaire pour les empreintes est bien plus grand que le texte qu'elles représentent. Elle est plus utile pour des ensembles de données stables et fréquemment consultés, plutôt que pour des informations en constante évolution.

L'étude conclut que, bien que nous puissions transformer avec succès un graphe de connaissances en une mémoire paramétrique, le défi de sélectionner et de combiner automatiquement les bons morceaux de mémoire pour des questions complexes reste non résolu. Pour des questions simples sur un seul élément, la méthode fonctionne bien, mais pour des questions nécessitant de lier des informations entre différents éléments, le système ne parvient pas encore à déterminer quels souvenirs combiner. Les chercheurs suggèrent que la prochaine étape consiste à développer un mécanisme d'apprentissage capable de décider quelles empreintes utiliser et comment les mélanger, plutôt que de s'appuyer sur une simple similitude. Tant que ce problème n'est pas résolu, la promesse d'un modèle qui porte sa propre bibliothèque de faits n'est que partiellement réalisée : les livres sont sur les étagères, mais le bibliothécaire a toujours besoin d'un index manuel pour les trouver.