Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

Dans le laboratoire moderne, un nouveau genre d'assistant émerge, un assistant qui ne tient pas une pipette mais qui mène une conversation. Il s'agit de systèmes d'intelligence artificielle conçus pour agir comme des « co-scientifiques », des agents autonomes capables de lire une séquence biologique, de décider quels outils numériques utiliser et de reconstituer une réponse à une question complexe. Ils opèrent en décomposant un objectif de grande envergure en étapes plus petites, en vérifiant leur travail et en affinant leur trajectoire, tout comme un chercheur humain passant d'une hypothèse à une conclusion. Cependant, la construction de ces systèmes implique un choix difficile. Une voie repose sur de vastes modèles de langage flexibles, capables de raisonner face à l'incertitude, mais qui sont coûteux, lents et parfois incohérents. L'autre voie utilise des politiques classiques apprises — des systèmes entraînés par essais et erreurs pour suivre un ensemble strict de règles. Ceux-ci sont peu coûteux, rapides et parfaitement cohérents, mais ils manquent de la capacité d'expliquer leur pensée ou de s'adapter à de nouvelles situations. Alors que les scientifiques commencent à déployer ces outils à travers différentes institutions et réseaux informatiques, une question cruciale se pose : est-ce la manière dont ces agents sont connectés ou le cerveau spécifique qu'ils utilisent qui importe le plus que la stratégie qu'ils suivent ?

Une équipe de chercheurs du Pacific Northwest National Laboratory s'est donné pour mission de répondre à cela en mettant ces différentes approches à l'épreuve dans un environnement contrôlé. Ils se sont concentrés sur une tâche routinière mais vitale en biologie : la caractérisation des protéines. Une protéine est une molécule qui accomplit des tâches spécifiques au sein des cellules vivantes, et sa fonction est souvent déterminée par sa séquence de blocs constitutifs. Les chercheurs ont demandé à leurs agents d'IA d'examiner une séquence protéique et de prédire sa fonction en la faisant passer par une série d'outils numériques, tels que des bases de données comparant les séquences ou des logiciels prédisant les structures 3D. Ils ont testé les agents sous deux configurations de réseau différentes : une configuration simple à serveur unique où tous les outils étaient à proximité, et une configuration fédérée plus complexe où les outils étaient dispersés sur différents serveurs, imitant la manière dont les laboratoires scientifiques réels pourraient partager des données à travers les frontières.

L'étude a comparé deux principaux types d'agents. Le premier type utilisait un modèle de langage puissant, essentiellement un chatbot sophistiqué, pour décider quel outil utiliser ensuite. Ces modèles recevaient soit des instructions simples, soit des invites détaillées de niveau expert pour guider leur raisonnement. Le second type utilisait un agent d'apprentissage par renforcement classique, un système entraîné à travers des milliers de tours de pratique pour apprendre le chemin le plus efficace vers une réponse correcte sans raisonnement en langage naturel. Les chercheurs ont fait passer ces expériences des centaines de fois, mesurant la fréquence à laquelle les agents obtenaient la bonne réponse, le temps nécessaire, le coût, et si les agents donnać la même réponse chaque fois qu'on leur posait la même question.

Les résultats ont révélé une hiérarchie claire de l'importance. Le facteur le plus significatif déterminant le succès n'était pas la configuration du réseau ni les instructions spécifiques données, mais l'intelligence sous-jacente du modèle lui-même. Lorsque les agents utilisaient un modèle de langage de haut niveau, ils atteignaient un taux de précision d'environ 92 à 94 pour cent. Lorsqu'ils utilisaient un modèle plus petit et moins capable, la précision chutait entre 40 et 50 pour cent. La manière dont les outils étaient connectés à travers le réseau n'avait presque aucun effet sur la performance ; que les agents travaillent dans une seule pièce ou à travers un réseau distribué, leurs taux de réussite restaient presque identiques. Cela suggère que pour ce type de tâches, la distance physique ou numérique entre les outils n'est pas une barrière majeure à la découverte scientifique.

La découverte la plus frappante concernait le compromis entre flexibilité et fiabilité. Les modèles de langage puissants pouvaient produire des résultats de haute qualité, mais ils étaient coûteux et incohérents. Même le meilleur modèle de langage donnait une réponse différente pour la même protéine dans environ 2 à 3 pour cent des cas, et le coût pour faire fonctionner ces modèles était significatif, allant d'environ 63 cents à 93 cents par protéine. En revanche, l'agent d'apprentissage classique, qui n'avait aucune capacité d'expliquer son raisonnement ou d'adapter sa stratégie, était parfait lors de chaque essai. Il atteignait une précision de 88 pour cent, rejoignant presque le meilleur modèle de langage, mais il le faisait en environ 15 secondes et à un coût nul. Il était également totalement cohérent, ne changeant jamais sa réponse lorsqu'on lui posait la même question cinq fois.

Les chercheurs ont découvert que le choix de la stratégie dépend entièrement de la nature du travail. Pour les tâches routinières où la réponse peut être vérifiée par rapport à des données connues, comme l'identification d'une protéine ayant une fonction bien connue, l'agent classique, bon marché, rapide et parfaitement cohérent, est le choix supérieur. Il délivre une précision proche de la frontière technologique sans le coût ou le risque d'erreurs aléatoires. Cependant, pour la découverte scientifique ouverte où la réponse est inconnue et où la flexibilité est requise, le modèle de langage coûteux reste nécessaire. L'étude suggère que la valeur des traces de raisonnement détaillées fournies par les modèles de langage augmente avec la nouveauté de la tâche ; pour la simple récupération de faits connus, le raisonnement est moins précieux que la certitude d'une politique fixe. Enfin, ce travail fournit un guide pratique pour les scientifiques construisant ces systèmes : ne supposez pas qu'un cerveau plus complexe et plus flexible soit toujours meilleur. Pour de nombreux flux de travail scientifiques, une règle simple et apprise n'est pas seulement suffisante, elle est le chemin le plus efficace à suivre.