🤖 AI

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

L'article présente Cuttlefish, un LLM multimodal unifié qui améliore le raisonnement ancré dans la structure et atténue les hallucinations en employant un mécanisme de patching conscient de l'échelle pour adapter dynamiquement les tokens de requête en fonction de la complexité structurelle et un adaptateur d'ancrage géométrique pour injecter des indices géométriques explicites dans le modèle.

Auteurs originaux : Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le scientifique « aveugle »

Imaginez que vous avez un scientifique brillant (un Grand Modèle de Langage, ou LLM) qui a lu tous les livres jamais écrits sur la chimie et la biologie. Il connaît les noms des molécules, la manière dont les protéines sont écrites sous forme de séquences, et les règles de la vie.

Cependant, il y a un problème : Ce scientifique est aveugle aux formes 3D.

Si vous lui montrez une liste plate d'ingrédients (une séquence chimique), il peut deviner à quoi le plat pourrait ressembler en goût. Mais si vous lui demandez : « Cette molécule va-t-elle s'adapter à cette serrure spécifique ? » ou « Pourquoi cette protéine se replie-t-elle en spirale ? », il pourrait commencer à deviner de manière folle. Il pourrait inventer une forme qui n'existe pas juste pour que l'histoire semble bonne. Dans le papier, cela s'appelle une « hallucination structurelle ».

Les modèles d'IA existants tentent de résoudre ce problème en montrant au scientifique une image de la molécule, mais ils écrasent généralement cette image en un résumé fixe et minuscule (comme essayer de décrire une cathédrale massive en utilisant seulement 10 mots). Si la molécule est petite, ils gaspillent des mots. Si elle est énorme, ils perdent des détails importants.

Cuttlefish est un nouveau système conçu pour donner à ce scientifique une « vision 3D » sans l'accabler.

Les deux principaux problèmes que Cuttlefish résout

1. Le piège du « taille unique » (Mise à l'échelle)

Le problème : Imaginez que vous êtes un guide touristique pour un musée.

Si vous montrez à un visiteur une petite clé, vous pourriez passer 1 minute à la décrire.
Si vous leur montrez un château massif, vous pourriez passer 10 minutes.
Les anciens modèles d'IA sont comme un guide touristique strict qui dit : « Je n'ai qu'une minute pour décrire tout, peu importe la taille. »
- Pour la clé, ils gaspillent du temps.
- Pour le château, ils doivent sauter les tours, les donjons et le fossé, laissant le visiteur confus.

La solution Cuttlefish : « Patching sensible à l'échelle »
Cuttlefish utilise un système de « passage » intelligent. Il regarde l'instruction (la question) et la taille de la molécule.

Si la molécule est petite, il choisit quelques points clés à décrire.
Si la molécule est énorme (comme une protéine géante), il étend dynamiquement son attention. Il dit : « D'accord, c'est complexe ; je dois zoomer sur 50 points différents pour obtenir les détails correctement. »
Analogie : Au lieu d'un discours rigide d'une minute, Cuttlefish est un guide touristique flexible qui ajuste la durée de la visite en fonction de la taille du bâtiment, garantissant qu'aucun détail important n'est manqué.

2. Le problème des « formes imaginaires » (Hallucination)

Le problème : Sans voir la forme 3D réelle, le scientifique pourrait dire : « Cette protéine ressemble à une sphère », alors qu'elle est en réalité une feuille plate. Il devine en se basant uniquement sur la description textuelle.

La solution Cuttlefish : « Adaptateur d'ancrage géométrique »
Cette partie agit comme un traducteur qui convertit les coordonnées 3D brutes (les positions réelles X, Y, Z de chaque atome) en un langage que le scientifique comprend.

Il ne dit pas juste « voici une molécule ». Il pointe des caractéristiques géométriques spécifiques : « Regardez ici, il y a un virage aigu », ou « Remarquez que ce groupe d'atomes est loin de celui-là ».
Analogie : C'est comme donner une paire de lunettes 3D au scientifique aveugle. Au lieu de deviner la forme, il peut maintenant « voir » la géométrie et dire : « Ah, je vois la spirale maintenant. Cela explique pourquoi cela fonctionne. » Cela l'empêche d'inventer de fausses formes.

Comment cela fonctionne (La métaphore du « Calmar »)

Le modèle est nommé Cuttlefish (Seiche), car, comme l'animal réel, il est polyvalent et peut changer de forme pour s'adapter à son environnement.

Le corps : Il se connecte à un Grand Modèle de Langage standard (le « cerveau »).
Les bras : Il possède un connecteur spécial qui peut s'étirer ou se rétrécir.
- Il saisit les « points d'ancrage » d'une molécule qui sont les plus importants pour la question spécifique posée.
- Il fait pousser des « patches » autour de ces ancres pour couvrir la zone nécessaire.
- Il alimente ces informations dans le cerveau, garantissant que le cerveau voit la vraie forme, et non pas seulement un résumé compressé.

Ce que le papier affirme (Les résultats)

Les auteurs ont testé Cuttlefish sur trois types d'entités biologiques : Molécules (petites substances chimiques), Protéines (grosses machines biologiques) et Acides Nucléiques (ADN/ARN).

Meilleure précision : Cuttlefish a répondu aux questions sur ces structures bien mieux que les modèles qui ne lisent que du texte ou les modèles qui utilisent les anciens résumés de « taille fixe ».
Moins de mensonges : Il a commis significativement moins d'« hallucinations » (invention de fausses formes ou propriétés). Lorsqu'on lui demandait comment une molécule s'absorbe dans le corps, il a utilisé la forme 3D réelle pour donner la bonne réponse, tandis que d'autres devinaient.
Efficacité : Il n'a pas gaspillé de puissance informatique. Il a utilisé juste assez de « tokens » (mots décrivant la forme) pour le travail — peu pour les petites choses, plus pour les grandes choses — plutôt que d'utiliser une quantité fixe pour tout.
Unifié : Il fonctionne comme un système unique pour les trois types de biologie (molécules, protéines, ADN), alors que les modèles précédents nécessitaient souvent des systèmes séparés pour chacun.

Résumé

Cuttlefish est un outil qui enseigne à l'IA à « voir » les formes 3D des molécules et des protéines. Il résout le problème de l'IA submergée par les grandes formes ou ignorant les petits détails en ajustant dynamiquement la quantité d'attention qu'elle porte. En forçant l'IA à regarder la géométrie réelle, il empêche l'IA d'inventer de fausses structures, conduisant à un raisonnement scientifique plus fiable.

Résumé Technique : Adaptateur Conscient de l'Échelle pour le Raisonnement des LLM Ancré dans la Structure (Cuttlefish)

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) sont de plus en plus appliqués pour raisonner sur des structures scientifiques 2D et 3D (molécules, protéines, acides nucléiques). Cependant, les méthodes existantes font face à deux limitations critiques qui entravent un raisonnement généralisé à tous les atomes :

Goulots d'étranglement de longueur fixe (Échelle budgétaire) : Les architectures actuelles reposent généralement sur des connecteurs de requête de longueur fixe (par exemple, de style Q-Former) ou sur une tokenisation basée sur les séquences. Ces approches compressent des graphes structurels de taille variable en un budget de tokens constant. À mesure que la complexité structurelle augmente (par exemple, protéines ou acides nucléiques plus grands), cela entraîne une sur-compression des caractéristiques géométriques, dégradant les performances. Inversement, augmenter simplement le budget de tokens pour toutes les entrées conduit à une allocation inefficace, diluant l'attention sur les petites entités.
Hallucinations structurelles : Les modèles reposant uniquement sur des entrées séquentielles (par exemple, SMILES, séquences de résidus) manquent d'ancrage géométrique explicite. Sans preuve structurelle 3D vérifiable, les LLM ont tendance à générer des raisonnements géométriques qui ne sont pas déduits du contexte de conditionnement, conduisant à des hallucinations concernant les groupes fonctionnels, les mécanismes ou les interactions à longue portée.

L'article soutient qu'une interface unifiée pour les entités hétérogènes à tous les atomes fait défaut, nécessitant une refonte de la manière dont les preuves structurelles sont sélectionnées et exposées au modèle de langage.

2. Méthodologie : Cuttlefish

Les auteurs présentent Cuttlefish, un LLM multimodal unifié conçu pour ancrer le raisonnement linguistique dans des indices géométriques tout en faisant évoluer les tokens de modalité avec la complexité structurelle. L'architecture se compose de trois composants principaux :

A. Encodeur (EGNN Équivariant SE(3))

Les coordonnées atomiques et les caractéristiques d'entrée sont d'abord encodées à l'aide d'un Réseau de Neurones Graphiques Équivariant (EGNN). Cela garantit que la représentation est invariante aux rotations et aux translations, produisant des embeddings de modalité au niveau de l'atome. L'encodeur est préentraîné via une tâche de reconstruction masquée (prédiction de l'identité de l'élément, des distances paires et du bruit directionnel) pour apprendre les relations spatiales.

B. Patching Conscient de l'Échelle

Pour résoudre le goulot d'étranglement du budget fixe, Cuttlefish emploie un mécanisme de commutation conditionné par l'instruction :

Sélection d'ancres basée sur la masse : Étant donné un embedding d'instruction et des embeddings de nœuds, une porte de scoring calcule des logits de pertinence par nœud. Les ancres sont sélectionnées de manière adaptative en fonction d'un seuil de masse cumulative ( $\rho$ ). Cela garantit que le nombre de tokens de requête ( $k_g$ ) évolue avec la complexité structurelle de l'entité, en sélectionnant uniquement les atomes les plus pertinents par rapport à l'instruction.
Croissance douce de patchs : Les ancres sélectionnées se développent en patchs structurels via un mécanisme d'affectation douce. Cela fusionne la proximité spatiale (distance euclidienne) avec un biais sémantique (pertinence de l'instruction).
Mise en pool pondérée intra-patch : Les caractéristiques des nœuds au sein de chaque patch sont agrégées en utilisant des poids d'appartenance pour générer des tokens de requête structurels. Cela permet au modèle de préserver les signaux géométriques fins pour les régions complexes tout en compressant les zones moins pertinentes.

C. Adaptateur d'Ancrage Géométrique

Pour atténuer les hallucinations structurelles, les tokens adaptatifs sont affinés et injectés dans le LLM :

Récupération par attention croisée : Les tokens de patch subissent une attention croisée avec les embeddings de modalité complets (tous les atomes) à travers une série de blocs de fusion. Cela permet aux requêtes de récupérer des indices géométriques haute résolution abstraits lors de la phase de patching.
Injection : Les tokens de modalité affinés sont projetés dans l'espace d'embedding du LLM et insérés à des positions d'espace réservé désignées au sein de la séquence d'instruction. Cela expose des indices géométriques explicites au LLM, conditionnant sa sortie sur une structure vérifiable.

D. Protocole d'Entraînement

Le modèle est entraîné en trois étapes :

Préentraînement de l'encodeur : L'EGNN est préentraîné sur des graphes spatiaux à tous les atomes.
Ajustement de l'alignement de modalité : L'EGNN et le LLM sont figés ; seul le connecteur (Patching et Adaptateur) est optimisé sur le jeu de données GEO-AT (un nouveau jeu de données d'instructions à tous les atomes introduit par les auteurs).
Ajustement de l'adaptation du LLM : Le LLM est dégelé avec un taux d'apprentissage plus faible pour s'adapter à la nouvelle distribution d'injection de modalité tout en préservant les capacités linguistiques générales.

3. Contributions Clés

Patching Conscient de l'Échelle : Un mécanisme de croissance de patch d'ancre conditionné par l'instruction qui garantit que le nombre de tokens de modalité évolue avec la complexité structurelle, atténuant efficacement les goulots d'étranglement des connecteurs de longueur fixe.
Adaptateur d'Ancrage Géométrique : Un module qui injecte des indices géométriques vérifiables dans le LLM via des tokens de modalité, conditionnant explicitement le modèle sur la géométrie pour réduire les hallucinations structurelles.
Cadre Cuttlefish : Un LLM unifié conscient de la structure capable de raisonner sur des modalités hétérogènes à tous les atomes (molécules, protéines, ADN, ARN) avec de fortes performances sur les benchmarks.
Jeu de données GEO-AT : L'introduction du premier jeu de données d'instructions à tous les atomes englobant les molécules, les protéines et les acides nucléiques avec des coordonnées au niveau de l'atome et des annotations linguistiques.

4. Résultats Expérimentaux

Des expériences ont été menées sur des benchmarks hétérogènes à tous les atomes, notamment Mol-Instructions, DNA-Chat et RNA-QA.

Performance vs LLM généraux : Cuttlefish surpasse nettement les modèles de base LLM généraux (par exemple, Llama-3, Qwen, Mistral) et les variantes améliorées en raisonnement sur toutes les modalités. Par exemple, sur le benchmark GEO-AT, Cuttlefish + Llama-3.1-8B a obtenu un score METEOR moyen de 0,428 et un BERTScore de 0,864, contre 0,186 et 0,694 pour le modèle de base seul.
Performance vs modèles de base spécifiques à la modalité : Cuttlefish atteint une performance de premier rang sur la plupart des tâches, surpassant des modèles spécialisés comme Mol-Llama (molécules), ProtChatGPT (protéines) et ChatNT (acides nucléiques).
Stabilité de l'échelle : Contrairement aux connecteurs de longueur fixe qui se dégradent à mesure que la taille de l'entité augmente, Cuttlefish maintient une qualité de génération stable à travers différents nombres de nœuds de graphe (des petites molécules aux grandes protéines), démontrant des caractéristiques d'échelle favorables.
Efficacité des tokens : Cuttlefish maintient un budget de tokens structurels substantiellement inférieur par rapport aux modèles de base à échelle linéaire (par exemple, ChatNT) tout en préservant les performances, confirmant l'efficacité de l'allocation adaptative des tokens.
Réduction des hallucinations : Dans les évaluations d'hallucinations (prédiction de groupes fonctionnels, explication de mécanismes, interactions à longue portée), Cuttlefish atteint les taux d'hallucination les plus bas (par exemple, 0,04 pour les groupes fonctionnels de protéines contre 0,10 pour ProtChatGPT) et les taux de réponse les plus élevés.
Robustesse : Le modèle démontre une dégradation gracieuse sous bruit de coordonnées et reste efficace même lorsque les structures expérimentales sont remplacées par des prédictions AlphaFold2.

5. Signification et Revendications

L'article affirme que Cuttlefish établit un cadre unifié pour le raisonnement ancré dans la structure à travers toutes les modalités à tous les atomes. Sa signification réside dans la résolution des défis duaux de l'évolutivité et de la fidélité :

Évolutivité : En remplaçant les connecteurs rigides de longueur fixe par un Patching Conscient de l'Échelle, l'architecture contourne les goulots d'étranglement d'information, permettant au modèle de gérer la complexité structurelle sans sur-compression ni inefficacité contextuelle.
Fidélité : En utilisant l'Adaptateur d'Ancrage Géométrique pour injecter des preuves géométriques explicites, le modèle réduit l'incertitude irréductible (risque de Bayes) associée aux entrées purement séquentielles, supprimant ainsi les hallucinations structurelles.

Les auteurs concluent que les entrées purement séquentielles sont insuffisantes pour une compréhension conditionnée par la structure et que les connecteurs de longueur fixe imposent un goulot d'étranglement fondamental pour capturer les sémantiques dépendantes de la géométrie. Ils postulent que l'entraînement conjoint de modalités avec une échelle de tokens adaptative est la clé d'un raisonnement scientifique multimodal robuste et unifié. Le travail est destiné aux contextes de modélisation scientifique générale, sans impacts sociétaux plus larges que ceux communs au domaine de recherche.