Résumé Technique : Mise à l'échelle structurée de la découverte par l'IA à travers divers domaines scientifiques

Énoncé du problème

La découverte scientifique nécessite souvent des cycles itératifs de proposition, de test et d'affinement de solutions candidates. Bien que les grands modèles de langage (LLM) puissent participer à ces boucles, le simple fait d'augmenter le nombre de tentatives (par exemple, via des traces de raisonnement plus longues ou un échantillonnage parallèle plus important) ne garantit pas de progrès. Les recherches parallèles peuvent dupliquer les efforts, et l'affinement itératif peut s'enfermer dans des directions sous-optimales. Le défi central identifié par l'auteur n'est pas seulement de mettre à l'échelle la découverte pilotée par l'IA, mais de structurer cette mise à l'échelle afin que les signaux d'évaluation se cumulent au fil du temps. La question est la suivante : Comment les boucles de découverte pilotées par l'IA peuvent-elles être mises à l'échelle de manière structurée pour accélérer les percées scientifiques ?

Méthodologie : SIMPLETES

L'auteur introduit SIMPLETES (Simple Test-time Evaluation-driven Scaling), un cadre conçu pour organiser l'allocation des requêtes de l'évaluateur et la réutilisation des historiques évalués. Contrairement aux systèmes qui reposent sur une coordination d'agents complexe ou des ensembles multi-modèles, SIMPLETES isole la structure même de la boucle de découverte.

Tuple de conception central $(C, L, K, \Phi)$

SIMPLETES organise le processus de recherche à travers quatre dimensions clés :

1. Largeur Globale ($C$) : Exécute $C$ trajectoires indépendantes en parallèle. Cela empêche l'effet de "verrouillage" où les choix précoces biaisent une trajectoire unique et profonde, permettant à diverses lignes d'enquête de mûrir sans s'influencer prématurément les unes les autres.
2. Profondeur d'Affinement ($L$) : Chaque trajectoire progresse à travers $L$ étapes d'affinement. Le feedback s'accumule au sein d'une trajectoire, permettant aux tentatives ultérieures de s'appuyer sur les précédentes.
3. Taille d'Échantillon Locale ($K$) : À chaque étape, le modèle génère $K$ solutions candidates. Seul le candidat ayant le score le plus élevé est engagé dans l'historique de la trajectoire. Cela atténue le bruit inhérent aux sorties des LLM, empêchant les candidats faibles ou non exécutables de corrompre les affinements suivants.
4. Constructeur de Proposition ($\Phi$) : Un mécanisme qui sélectionne et compresse les solutions antérieures utiles, les échecs et le feedback dans le prompt suivant. $\Phi$ utilise une variante basée sur les graphes de la règle PUCT pour sélectionner les nœuds historiques qui ont bien scoré ou qui ont mené à des descendants performants, tout en résumant les échecs récurrents (par exemple, les erreurs de compilation) pour détourner le modèle des directions improductives.

Le budget total de requêtes de l'évaluateur est $N = C \times L \times K$. Le cadre traite l'allocation de ce budget comme le levier principal de mise à l'échelle, plutôt que l'augmentation des paramètres du modèle ou des données d'entraînement.

Post-entraînement au niveau de la trajectoire

Pour remédier à la limitation du post-entraînement standard (qui récompense les scores immédiats et peut décourager les "échecs" exploratoires menant à des percées), l'auteur propose un post-entraînement au niveau de la trajectoire.

• Attribution de Crédit : Au lieu de récompenser les étapes individuelles sur la base de leur score immédiat, le modèle est entraîné sur le résultat final de l'ensemble de la trajectoire.
• Mécanisme : Les trajectoires qui atteignent un score dans les $R\%$ supérieurs se voient attribuer un poids $w=1$, tandis que les autres reçoivent $w=0$. Le modèle est affiné pour maximiser la probabilité de générer le raisonnement et les solutions qui ont conduit à ces résultats finaux à haut score.
• Objectif : Cela entraîne le modèle à optimiser les percées à long terme plutôt que les gains immédiats et myopes, apprenant ainsi à "rechercher des solutions finales fortes".

Contributions clés et résultats

L'auteur a appliqué SIMPLETES à 28 problèmes de découverte ouverts dans cinq domaines scientifiques diversifiés en utilisant un seul modèle open-source fixe (gpt-oss-120b). Le cadre a obtenu des résultats de pointe (SOTA) dans tous les domaines, surpassant souvent des systèmes utilisant des modèles propriétaires un ordre de grandeur plus grands.

1. Compilation de circuits quantiques

• Tâche : Optimisation du routage de qubits pour les dispositifs supraconducteurs et à atomes neutres zonés afin de minimiser les frais généraux (portes SWAP) et le temps d'exécution.
• Résultats :
  • Supraconducteur : Réduction des frais de SWAP ajoutés de 21,7 % par rapport à SABRE et de 14,9 % par rapport à LightSABRE en moyenne. Sur certains benchmarks (Q20), les réductions ont atteint 24,5 %.
  • Atome Neutre : Réduction du temps d'exécution total de 33,2 % (moyenne géométrique) par rapport aux bases de référence de type ZAC.

2. Conception de trajectoires en astrodynamique

• Tâche : Concevoir des trajectoires spatiales profondes économes en carburant en utilisant des assistances gravitationnelles et des manœuvres en espace profond (DSM).
• Résultats : Les optimiseurs évolués ont réduit les coûts de propulsion de 2,1 % à 23,1 % à travers cinq fenêtres de mission historiques (Mariner 10, Voyager 2, Galileo, Cassini, Rosetta) par rapport aux séquences de rencontres historiques de référence.
• Découverte : A synthétisé une trajectoire Terre–Vénus–Terre–Terre–Jupiter réalisable pour une fenêtre de lancement 2028–2030 sans DSM intermédiaires.

3. Algorithmes Scientifiques

• Solveur de chemin Lasso : A découvert un solveur sensible à la géométrie qui est 2,17× plus rapide que l'expert glmnet et 14,08× plus rapide que sklearn sur des jeux de données réels, tout en maintenant des garanties de correction strictes. Le solveur bascule dynamiquement entre l'homotopie LARS et la descente de coordonnées selon la géométrie du problème.
• Activité neurale de cerveau entier : A découvert un prédicteur pour ZAPBench (activité neurale de poisson zèbre) qui a réduit l'erreur absolue moyenne (MAE) de 8,5 % à un horizon de 32 étapes par rapport au SOTA précédent (ERA), surpassant à la fois les résultats pilotés par des modèles propriétaires et les bases de référence U-Net volumétriques.
• Dénouage de l'ARN messager (RNA-seq) à cellule unique : A obtenu un score de dénouage de 0,74 sur l'ensemble de données de test Tabula Muris Senis Lung, surpassant TTT-Discover (0,73).

4. Fondations de l'IA

• Optimisation de noyau GPU : A découvert le noyau TriMul le plus rapide rapporté (central pour AlphaFold3) avec une latence de 1,122 ms sur H100, surpassant les soumissions expertes en Triton (1,140 ms) et les bases de référence IA. L'implémentation s'est généralisée sur A100, H100 et MI300 sans ré-optimisation.
• Découverte de lois d'échelle (Scaling Laws) : Sur le SLDBench, SIMPLETES a atteint le $R^2$ d'extrapolation moyen le plus élevé (0,674), surpassant SLDAgent avec GPT-5 (0,572). Il a notamment réussi sur des tâches d'extrapolation difficiles (ex: mise à l'échelle en forme de U) là où d'autres agents ont échoué ($R^2$ négatif).

5. Découverte Mathématique

• Résultats : A établi de nouvelles bornes SOTA sur quatre problèmes classiques :
  • Erdős Minimum-Overlap : Amélioration de la borne de 0,380871 à 0,380868.
  • Seconde inégalité d'autocorrélation : Amélioration de la borne de 0,961206 à 0,962694.
  • Troisième inégalité d'autocorrélation : Amélioration de la borne de 1,454555 à 1,453675.
  • Problème Somme-Différence : Amélioration du ratio de 1,121936 à 1,143975.
• Impact du Post-entraînement : Avec le post-entraînement au niveau de la trajectoire, le modèle a atteint un nouveau SOTA de 1,144887 sur le problème Somme-Différence, une solution que la recherche non entraînée n'a pas pu trouver sous le même budget.

Signification et Revendications

L'article soutient que la mise à l'échelle structurée est un mécanisme général pour faire progresser la découverte par l'IA. L'auteur affirme que :

1. La Structure plutôt que la Complexité : Un seul modèle open-source avec une boucle d'évaluation structurée peut égaler ou surpasser des systèmes construits sur des modèles propriétaires beaucoup plus grands et des machineries d'agents complexes. L'organisation de la boucle d'évaluation est elle-même une source primaire de capacité.
2. Mise à l'échelle pilotée par l'évaluation : La clé du progrès n'est pas seulement plus de calcul, mais la manière dont les requêtes de l'évaluateur sont distribuées (à travers la largeur, la profondeur et la sélection locale) et comment le feedback est réutilisé.
3. Apprentissage à long terme : Le post-entraînement sur les résultats au niveau de la trajectoire, plutôt que sur les récompenses immédiates, permet aux modèles d'apprendre la "topologie" de la découverte, leur permettant de poursuivre des chemins non conventionnels menant à des percées.
   4.Généralité : La même procédure et configuration fixes ont géré avec succès des problèmes allant de la vérification mathématique exacte et de la simulation physique à la chronométrie matérielle empirique et à la prédiction biologique, démontant la polyvalence du cadre.

L'auteur souligne que ces résultats ont été obtenus sans coordination multi-agents, sans ensembles de modèles et sans mises à jour de paramètres en ligne pendant la recherche (hormis la phase spécifique de post-entraînement), soulignant la puissance de la boucle structurée elle-même. Il reconnaît les limites concernant la fidélité de l'évaluateur (récompense induite/reward hacking) et la nécessité d'un feedback automatisé et peu coûteux, mais soutient que le cadre offre une voie scalable pour la découverte dans les domaines où de tels évaluateurs existent.