Résumé Technique : Représentation de l'État et Critères d'Arrêt pour les Systèmes de Raisonnement Récursif

1. Énoncé du Problème

Les systèmes de raisonnement récursif — englobant la génération augmentée par récupération itérative, les boucles d'action-observation d'agents, le raisonnement en arbre de pensée et l'apprentissage continu — fonctionnent en alternant l'acquisition de nouvelles preuves et le raffinement d'un état interne accumulé. Malgré leur diversité, ces systèmes souffrent actuellement de deux lacunes critiques de conception :

1. Représentation implicite de l'état : Les systèmes actuels représentent souvent les états de raisonnement sous forme de traces textuelles transitoires ou d'activations cachées. Ce manque d'état structuré et persistant empêche le système de suivre explicitement quelles affirmations sont étayées, lesquelles sont en conflit et quelles questions restent sans réponse. Par conséquent, les contradictions s'accumulent sans être détectées, et le système ne peut déterminer quelles informations manquent encore.
2. Critères d'arrêt exogènes : L'arrêt est généralement imposé par des limites fixes (par exemple, profondeur maximale, budget de tokens ou nombre d'itérations) plutôt que dérivé des dynamiques internes du système. Cela conduit à des modes de défaillance caractéristiques : arrêt prématuré sur des tâches complexes, traitement redondant sur des tâches simples, et des améliorations « hallucinées » où l'auto-raffinement dégrade les performances en raison d'un manque de signaux de convergence.

L'article soutient que sans un état explicite et un critère d'arrêt endogène, les systèmes récursifs ne peuvent pas détecter de manière fiable s'ils se sont stabilisés sur une solution ou si une itération supplémentaire est bénéfique.

2. Méthodologie

2.1. Graphe d'État Épistémique

Pour combler le vide de la représentation de l'état, les auteurs proposent le Graphe d'État Épistémique ($S$), un graphe structuré défini comme un tuple $(V, E, \ell, c, w)$ :

• Nœuds ($V$) : Partitionnés en nœuds de Requête (faits extraits), nœuds de RéponsePartielle (meilleures réponses actuelles) et nœuds de QuestionOuverte (dépendances identifiées mais non résolues).
• Arêtes ($E$) : Arêtes dirigées typées représentant Soutient (appui probatoire), Requiert (dépendance logique sur une preuve non résolue) et Contredit (incohérence).
• Attributs : Les nœuds et les arêtes sont pondérés par la confiance ($c$ et $w$) et encodés avec des vecteurs d'attributs ($\ell$).
• Encodage : Pour faciliter l'analyse mathématique, le graphe discret est plongé dans un espace euclidien de dimension fixe ($\mathbb{R}^d$) via une application lisse $\phi$. Cela permet de traiter les opérateurs de raisonnement comme des fonctions différentiables, permettant l'utilisation d'une analyse de convergence basée sur le calcul.

2.2. Opérateurs d'Expansion et de Consolidation

Les dynamiques du système sont formalisées par deux opérateurs agissant sur l'état plongé $\theta_t$ :

• Expansion ($P_e$) : Intègre une nouvelle preuve externe $e$. Dans le contexte du graphe, cela ajoute de nouveaux nœuds de requête, les relie via des arêtes typées et résout les questions ouvertes.
• Consolidation ($Q$) : Affine l'état en utilisant uniquement les informations existantes. Cela implique de résoudre les contradictions (en réduisant le poids des requêtes de moindre confiance), de fusionner les nœuds redondants et de déplacer le poids vers la meilleure réponse partielle.
• Dynamiques : Le système évolue via $\theta_{t+1} = Q(P_{e_t}(\theta_t))$, où $e_t$ est échantillonné à partir d'une distribution dépendante de l'état actuel.

2.3. Critère d'Arrêt par Écart d'Ordre

L'innovation centrale pour l'arrêt est l'Écart d'Ordre ($\Omega$), qui mesure la non-commutativité des opérateurs d'expansion et de consolidation.

• Définition : $\Omega(\theta; e) = \|Q(P_e(\theta)) - P_e(Q(\theta))\|$.
  • $Q(P_e(\theta))$ : La trajectoire réelle du système (expansion puis consolidation).
  • $P_e(Q(\theta))$ : Une trajectoire hypothétique où la consolidation précède l'expansion.
• Logique : Si l'ordre des opérations modifie significativement le résultat (grand $\Omega$), le système est sensible aux nouvelles preuves et n'est pas encore stabilisé. Si l'ordre n'a pas d'importance (petit $\Omega$), une itération supplémentaire est peu susceptible de modifier le résultat de manière substantielle.
• Règle d'arrêt : L'itération s'arrête lorsque la moyenne glissante de l'écart d'ordre, $\hat{\Omega}_{t,w}$, tombe en dessous d'un seuil $\epsilon$.

2.4. Analyse de Non-Dégénérescence

L'article fournit une garantie théorique (Théorème 5.2) assurant que le critère est informatif. Il établit une condition de non-dégénérescence locale pour le Gramien du commutateur linéarisé ($G_{\theta^*}$). La condition stipule que l'écart d'ordre n'est pas algébriquement nul (c'est-à-dire qu'il s'agit d'un signal valide) si et seulement si l'intersection des noyaux des commutateurs linéarisés pour tous les éléments de preuve possibles est triviale. Cela garantit qu'un petit écart d'ordre reflète une véritable convergence et non un artefact mathématique.

3. Contributions Clés

1. Graphe d'État Épistémique : Une représentation formelle et structurée des états de raisonnement qui suit explicitement les requêtes, les conflits, les dépendances et la confiance, permettant une expansion et une consolidation fondées sur des principes.
2. Cadre d'Opérateurs : Une définition rigoureuse des opérateurs d'expansion et de consolidation sur un plongement euclidien lisse du graphe d'état, facilitant l'analyse dynamique.
3. Arrêt par Écart d'Ordre : Un critère d'arrêt endogène novateur dérivé de la structure des opérateurs du système. Il mesure la sensibilité de l'état à l'ordre des opérations.
4. Théorème de Non-Dégénérescence : Une condition nécessaire et suffisante (Théorème 5.2) caractérisant le moment où l'écart d'ordre linéarisé est non dégénéré près d'un point fixe, assurant que le critère n'est pas vide.
5. Généralisabilité : Une démonstration que ce cadre s'applique à diverses architectures, y compris les modèles de langage récursifs, les boucles d'agents, le raisonnement en arbre de pensée, la preuve de théorèmes et l'apprentissage continu.

4. Résultats et Illustration

L'article ne présente pas de benchmarks empiriques à grande échelle mais fournit un exemple synthétique 2D sous forme close pour vérifier la cohérence interne des dynamiques et de la formule de l'écart d'ordre.

• Configuration : Un vecteur d'état $(c, u)$ représentant la confiance et l'incertitude, avec des opérateurs d'expansion et de consolidation définis analytiquement.
• Observation : L'écart d'ordre $\Omega$ s'avère grand lorsque la confiance est faible et l'incertitude élevée (régimes où les nouvelles preuves importent) et s'annule lorsque la confiance approche 1 ou que l'incertitude est épuisée.
• Trajectoire : Une simulation avec cinq éléments de preuve démontre que l'écart d'ordre glissant identifie correctement le moment où les preuves pertinentes ont été traitées et où le système s'est stabilisé, permettant un arrêt anticipé par rapport à un budget fixe.
• Vérification de la Couverture : L'exemple illustre un mode de défaillance où l'écart d'ordre reste proche de zéro non pas parce que le système a convergé, mais parce que la distribution des preuves a échoué à couvrir les questions ouvertes critiques (violation de la condition de non-dégénérescence).

5. Signification et Portée

L'article prétend fournir le premier cadre unifié traitant la représentation de l'état et l'arrêt comme des choix de conception explicites et couplés dans le raisonnement récursif.

• Local vs Global : Les auteurs sont explicites sur le fait que le théorème de non-dégénérescence est une condition locale près du point fixe. Il ne garantit pas la convergence globale ni ne borne l'erreur de la réponse finale. Les garanties de convergence globale sont notées comme nécessitant des hypothèses supplémentaires (constantes de Lipschitz, bornes de bruit) à développer dans des travaux futurs.
• Impact Pratique : Le cadre offre un mécanisme pour remplacer les règles d'arrêt arbitraires par un signal dérivé de la propre trajectoire du système. Il suggère que, en rendant l'état explicite et en mesurant la non-commutativité des opérateurs, les systèmes peuvent éviter les calculs redondants et détecter quand un raffinement supplémentaire est futile ou nuisible.
• Directions Futures : L'article décrit des extensions immédiates, notamment la connexion de la condition de non-dégénérescence à l'erreur de réponse via des arguments de concentration et une évaluation empirique sur des benchmarks de questions-réponses à contexte long.

En résumé, l'article propose que les systèmes de raisonnement récursif doivent passer d'états implicites basés sur le texte à des états épistémiques explicites basés sur des graphes, et d'un arrêt à budget fixe à des critères d'arrêt dynamiques basés sur l'écart d'ordre pour parvenir à une inférence robuste et efficace.