Résumé technique : Certification structurelle pour une conception physique fiable avec les modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) peuvent générer des conceptions physiquement invalides avec la même fluidité et la même assurance que des conceptions valides. Dans les contextes scientifiques et d'ingénierie, où les erreurs entraînent des coûts expérimentaux ou computationnels réels, le défi principal n'est pas simplement la génération, mais la certification. Les approches existantes tentent souvent d'améliorer le prédicteur lui-même (via plus de paramètres, de données ou d'alignement), mais cela ne parvient pas à résoudre le déficit structurel : les modèles sont incapables de décliner. Même un modèle ayant mémorisé tous les manuels scolaires produira des réponses incorrectes et assurées lorsqu'il est poussé hors de sa distribution d'entraînement. Le problème central est que le modèle conserve l'autorité d'affirmer, ce qui rend impossible la distinction entre une dérivation correcte et une hallucination confiante sans un contrôle externe et non-auteur.

Méthodologie : Le cadre PHACT

Les auteurs introduisent PHACT (Physics-Anchored Certification), une boucle propose–certifie qui sépare la génération créative de conceptions de la certification faisant autorité de leur validité.

Architecture

1. Le Proposeur : Un modèle de langage (créatif, général, peu fiable) génère des conceptions candidates en langage naturel.
2. Le Certificateur : Un moteur de physique déterministe (domaine étroit, exact dans ses équations) évalue les conceptions par rapport aux lois physiques régissantes.
3. La Boucle :
   • Le modèle propose une conception entièrement spécifiée.
   • Le moteur calcule les quantités pertinentes à partir des premiers principes.
   • Le moteur renvoie l'un des trois verdicts : Certifié (satisfait toutes les contraintes), Impossible (des tentatives distinctes échouent pour la même raison physique) ou Inconnu (l'objectif est hors de la compétence du moteur).
   • En cas de rejet, le moteur fournit une correction ciblée (identifiant la loi violée et le changement minimal d'entrée requis) pour guider la révision du modèle.

Le Contrat Structurel

L'article identifie une vulnérabilité critique dans les validateurs standards de type « soumission de réponse », où le modèle fournit la quantité testée (ex: « Voici les masses $m_1, m_2$ ; confirmez que la masse de chirp est de 50 $M_\odot$ »). Dans cette configuration, un modèle peut forger un certificat en modifiant discrètement les entrées fixes (en changeant $m_1, m_2$) pour correspondre à la sortie revendiquée, satisfaisant ainsi le vérificateur pour un système différent de celui demandé.

PHACT résout cela via un contrat structurel implémenté sous la forme d'un graphe de dépendance dirigé :

• Entrées Liées (Bound Inputs) : Les quantités fixées par l'objectif sont des nœuds en lecture seule. Le modèle ne peut pas écrire dessus.
• Variables Libres : Les variables de conception que le modèle est autorisé à choisir.
• Sorties Dérivées : La quantité certifiée est calculée par le moteur à partir des entrées liées et des variables libres. Le modèle ne peut pas fournir cette valeur.

En dérivant la quantité certifiée à partir d'entrées liées à l'objectif, le système rend la falsification impossible par construction. Le modèle peut proposer des conceptions, mais il ne peut pas être l'auteur de la vérification de ces conceptions.

Contributions Clés

1. Boucle Propose–Certifie : Formuler la conception physique comme une boucle où un moteur déterministe, et non le modèle, détient l'autorité d'affirmer, avec une sortie à trois valeurs où le refus est un verdict valide.
2. Identification des Conditions de Falsification : Démontrer que les validateurs acceptant des quantités fournies par le modèle sont falsifiables. L'article remplace cela par un contrat structurel qui dérive les quantités certifiées à partir d'entrées liées, éliminant les certificats falsifiés sur 80 essais adverses.
3. Compromis Sécurité vs Utilité : Montrer que la contrainte de sécurité ne rend pas la boucle impraticablement conservatrice. Sur des objectifs réalisables, le système certifie nettement plus de conceptions valides qu'un modèle nu, confirmant que la sécurité et l'utilité sont compatibles.
4. Indépendance du Modèle : Prouver que la garantie de sécurité est indépendante de la capacité du proposeur. Si la capacité régit si la boucle produit un verdict (taux de certification réalisable), elle ne régit pas si un verdict produit peut être faux.
5. Reproductibilité Ouverte : Publier les moteurs, les contrats structurels, le corpus d'objectifs et l'analyse en tant qu'archive ouverte. Le pipeline de certification s'exécute sur du matériel courant sans identifiants ni modèle de langage, permettant à tout scientifique de filtrer les conceptions par rapport aux lois de la physique.

Résultats

Le cadre a été évalué à travers cinq domaines : l'aérodynamique des drones, la thermodynamique de l'ADN, l'astrophysique (ondes gravitationnelles), l'électronique analogique et la formulation de médicaments colloïdaux.

• Performance du Modèle Nu : Sans le moteur, le modèle (Gemini 2.5 Flash) a produit des conceptions physiquement valides sur seulement 52 % des objectifs réalisables et n'a pas réussi à décliner les objectifs impossibles, produisant des conceptions « hallucinées » qui passaient les contrôles post-hoc dans 28 % des cas impossibles (concentrés en astrophysique).
• Performance de PHACT : Avec la boucle, ce même modèle a certifié 88 % des objectifs réalisables. Crucialement, sur 25 objectifs impossibles, le système a produit zéro fausse certification.
• Tests Adversaires : Dans 80 essais adverses couvrant deux modèles (Gemini 2.5 Flash, Llama 3.3 70B), deux températures de décodage et un moteur délibérément défaillant, le contrat structurel a produit zéro certificat falsifié. En revanche, les validateurs « nus » ont été falsifiés dans 19 des 45 essais dans des conditions similaires.
• Échelle de Capacité : Un modèle plus faible (Llama 3.1 8B) n'a pas réussi à fermer la boucle (stagnation sans verdict) sur des objectifs impossibles, mais n'a jamais falsifié de certificat. Cela confirme que la sécurité est structurelle, tandis que l'utilité dépend de la capacité du modèle.
• Analyse du Feedback : Le feedback structurel (correction de l'entrée racine avec chemin de dépendance) a réduit significativement les itérations uniquement dans les domaines avec des contraintes couplées manquant d'inverses à forme close (ex: double contrainte de l'ADN). Pour les formes closes ou les larges régions réalisables, un feedback plus simple suffisait.

Signification et Revendications

L'article affirme qu'un raisonnement physique fiable n'est pas une propriété d'un meilleur prédicteur, mais d'un prédicteur placé dans une boucle dont il ne peut pas être l'auteur du verdict.

• Structurel vs Statistique : La garantie de sécurité est structurelle (basée sur la conception de l'interface et la direction des flux de données), et non statistique. Elle ne dépend pas de la température de décodage ou de la stratégie d'échantillonnage du modèle car l'autorité d'affirmer ne passe jamais par l'échantillonneur.
• Portée de la Garantie : L'article stipule explicitement que la validité est relative au modèle de physique du moteur. Un certificat confirme qu'une conception satisfait des équations spécifiques (ex: théorie DLVO, expansions post-newtoniennes), et non qu'elle satisfait la réalité physique dans sa totalité (ex: forces d'hydratation en laboratoire). Le verdict « Inconnu » signale quand la compétence du moteur est dépassée.
• Utilité Pratique : Le système ne remplace pas la simulation haute fidélité mais agit comme un filtre de premier principe peu coûteux. Il permet aux scientifiques de filtrer les conceptions par rapport aux lois directrices avant de mobiliser des ressources coûteuses (temps de paillasse, allocations HPC).
• Généralisabilité : Bien que démontré avec des moteurs à forme close, l'architecture est agnostique au type de moteur. Tout modèle de propagation déterministe (incluant les substituts informés par la physique pour les lois sans forme close) peut servir de certificateur, à condition que le contrat structurel (entrées liées vs sorties dérivées) soit maintenu.

Les auteurs concluent que la séparation de l'autorité — coupler un proposeur appris avec un arbitre déterministe que le proposeur ne peut outrepasser — est un schéma généralisable pour un raisonnement fiable dans des contextes ouverts où aucun solveur unique n'existe.