Résumé Technique : Modélisation de Monde à Double Canal Ancré (DCGWM)

1. Formulation du Problème : Effondrement de l'Interférence d'Objectif (OIC)

Le papier identifie un mode de défaillance critique dans les architectures de prédiction d'encastrement conjoint (JEPA) lorsqu'elles sont chargées d'ancrer un espace latent partagé contre deux signaux externes qualitativement distincts : la dynamique physique et la dynamique socio-comportementale.

• Le Conflit : L'ancrage physique produit des corrections de gradient éparses, de grande magnitude et respectant des contraintes, concentrées dans des dimensions latentes spécifiques. En revanche, l'ancrage socio-comportemental produit des corrections diffuses, de plus faible magnitude, visant l'appariement de distributions et réparties sur de nombreuses dimensions.
• Le Mode de Défaillance : Les auteurs nomment cela l'Effondrement de l'Interférence d'Objectif (OIC). Ils conjecturent que dans un espace latent partagé, le canal possédant la magnitude de gradient dominante à un instant donné provoque systématiquement l'effondrement de l'espace de représentation du canal subordonné.
• Limites des Solutions Actuelles : Le papier soutient que le pondération standard des pertes (repondération scalaire des gradients) ne peut résoudre l'OIC car l'incompatibilité est géométrique, et non simplement basée sur la magnitude. Un canal dominera toujours dans ses dimensions concentrées, empêant l'autre de développer une structure stable et de rang plein.
• Mode de Défaillance Secondaire : Le papier traite également de la dérive de déploiement (rollout drift), où les erreurs s'accumulent lors de prédictions latentes multi-étapes, éloignant l'état prédit de la variété ancrée. Les solutions existantes ne parviennent pas à rendre compte de l'asymétrie catégorielle entre les contraintes physiques (violations strictes) et les écarts comportementaux (déviations distributionnelles douces).

2. Méthodologie : L'Architecture DCGWM

La solution proposée, la Modélisation de Monde à Double Canal Ancré (DCGWM), est une architecture conçue pour prévenir structurellement l'OIC par une partition explicite de l'espace latent et une isolation stricte des gradients.

2.1 Partitionnement Structurel

L'espace latent est défini comme une somme directe $Z = Z_p \oplus Z_b$, où :

• $Z_p$ : Canal d'Ancrage Physique.
• $Z_b$ : Canal d'Ancrage Socio-Comportemental.
• Invariant : Ces sous-espaces n'ont aucun paramètre partagé et aucun chemin de gradient direct entre eux.

2.2 Flux de Gradient Unidirectionnel vers l'Intérieur

L'architecture impose un flux de gradient "uniquement vers l'intérieur" pour garantir que les signaux externes ne corrompent pas les sous-espaces non désignés :

• Canal d'Ancrage Physique (PGC) : Met à jour uniquement les poids $W_p$ associés à $Z_p$. Il utilise un alignement de type VICReg par rapport aux mesures physiques, employant une régularisation de la variance et de la covariance pour maintenir un rang plein au sein de $Z_p$.
• Canal d'Ancrage Socio-Comportemental (SBGC) : Met à jour uniquement les poids $W_b$ associés à $Z_b$. Il ancre l'espace latent contre les trajectoires issues d'une simulation multi-agents émergente (N agents avec des personnalités et des mémoires indépendantes). Ce signal est caractérisé par une irréductibilité émergente et une couverture statistique.
• Isolation : Les gradients du PGC n'atteignent jamais $W_b$, et vice versa. Des opérations de "stop-gradient" sont appliquées aux sous-espaces non désignés lors du calcul de la perte.

2.3 Module d'Interface Inter-Canaux

Pour gérer les corrélations entre événements physiques et réponses comportementales sans violer l'isolation des gradients, un Module d'Interface ($I$) est introduit.

• Il applique une perte de cohérence ($L_{consistency}$) pour pénaliser les prédictions conjointes qui violent les corrélations physique-comportementales connues.
• Il applique une perte de désenchevêtrement ($L_{disentangle}$) utilisant l'inversion de gradient pour pénaliser $Z_p$ pour l'encodage d'informations comportementales et $Z_b$ pour l'encodage d'informations physiques.
• Les corrections sont appliquées de manière additive et indépendante à chaque sous-espace, garantissant qu'aucune propagation croisée de gradient ne se produise.

2.4 Perte d'Adhérence d'Ancrage Asymétrique ($L_{AGA}$)

Pour traiter la dérive de déploiement, le papier introduit $L_{AGA}$, qui applique des pénalités structurellement différentes selon la nature de la source d'ancrage :

• Adhérence Physique : Utilise une pénalité de charnière au carré (squared hinge penalty). Les violations des lois physiques sont traitées comme des contraintes strictes ; les pénalités s'appliquent de manière quadratique uniquement au-delà d'une tolérance stricte $\epsilon_p$.
• Adhérence Comportementale : Utilise une divergence KL douce. La divergence comportementale est traitée comme une distance distributionnelle ; les pénalités sont continues et douces, reflétant la nature stochastique des dynamiques sociales.
• Isolation de Gradient : Les gradients de $L_{AGA}$ mettent à jour uniquement leurs groupes de poids respectifs ($W_p$ ou $W_b$).

2.5 Isolation Générative

Une Couche de Rendu Génératif (GRL) est architecturalement isolée du Moteur de Modélisation de Monde Latent (LWME).

• Le LWME prédit les représentations futures masquées (objectif JEPA).
• Le GRL rend ces représentations en sortie visuelle.
• Théorème de Nécessité d'Isolation : Le papier postule que tout gradient non nul provenant d'un objectif génératif (qui récompense les statistiques perceptuelles à haute fréquence) vers l'espace latent prédictif (qui rejette le contenu haute fréquence imprévisible) causera une dérive de représentation. Par conséquent, le GRL est entraîné avec les paramètres du LWME gelés, recevant uniquement des représentations latentes détachées.

3. Contributions Clés

1. Formalisation de l'OIC : Un mode de défaillance conjecturé où l'apprentissage conjoint de signaux externes incompatibles dans un espace partagé mène à un effondrement systématique de la représentation, non résoluble par la simple pondération de perte.
2. Architecture DCGWM : Une solution structurelle comprenant des espaces latents partitionnés, un flux de gradient unidirectionnel vers l'intérieur et des canaux d'ancrage séparés.
3. Perte d'Adhérence d'Ancrage Asymétrique ($L_{AGA}$) : La première fonction de perte conçue spécifiquement pour prévenir la dérive de déploiement sous des sources d'ancrage hétérogènes en appliant des pénalités de charnière strictes pour les violations physiques et des pénalités KL douces pour la divergence comportementale.
4. Théorème de Nécessité d'Isolation : Un résultat théorique stipulant que sous des hypothèses spécifiques (A1-A2), tout gradient génératif provoque une dérive de la représentation du monde, nécessitant une isolation architecturale.
5. Argument Structurel sur les LLM : Une analyse suggérant que les modèles de langage entraînés par Prédiction du Prochain Token (NTP) font face à des limitations intrinsèques en matière de modélisation de monde en raison d'un biais géométrique implicite vers l'effondrement des sous-espaces, ce que le DCGWM évite en utilisant un objectif différent (JEPA) dès la conception.

4. Résultats et Revendications

Le papier est explicitement présenté comme une contribution de positionnement et d'architecture. Il ne présente pas de validation empirique de ses affirmations centrales.

• Preuves Théoriques :
  • Le papier affirme prouver que l'effondrement dimensionnel est évité au sein de chaque sous-espace (héritant des garanties de VICReg).
  • Il fournit un schéma de preuve pour le Théorème de Nécessité d'Isolation sous les hypothèses énoncées (A1 et A2).
• Conjectures et Problèmes Ouverts :
  • Conjecture OIC : La thèse selon laquelle l'OIC se produit dans les espaces partagés et est prévenu par le DCGWM est une conjecture soutenue par un argument structurel, et non par une preuve formelle. Elle ne tient pas compte des optimiseurs adaptatifs ou des effets de lot (batch).
  • Convergence de l'Interface : La stabilité du module d'interface à double objectif n'est pas prouvée.
  • Fidélité de l'Encodeur Comportemental : La capacité de l'encodeur à cartographier fidèlement les trajectoires de simulation émergente vers $Z_b$ est une question empirique ouverte.
  • Hypothèse A2 : L'hypothèse selon laquelle l'optimum du LWME se situe à un point de selle de l'objectif génératif est argumentée mais non prouvée pour des conditions générales.
• Statut Actuel : La validation expérimentale de toutes les revendications est en cours. Le papier décrit un design de falsification spécifique pour la conjecture OIC impliquant une comparaison entre un JEPA partagé de base, un DCGWM complet, et une ablation avec désenchevêtrement doux, mais les résultats ne sont pas encore rapportés.

5. Signification et Portée

Le papier positionne le DCGWM non pas comme une amélioration incrémentale des LLM ou des JEPA existants, mais comme une architecture fondamentalement différente requise pour résoudre le problème spécifique de l'ancrage simultané physique et comportemental.

• Différenciation : Contrairement à l'Expansion de Domaine (qui gère les conflits de tâches internes) ou à WMReward (qui utilise des scores de surprise pour la plausibilité physique), le DCGWM traite l'incompatibilité statistique entre les signaux physiques et comportementaux externes.
• Limites des LLM : Le papier soutient que les LLM entraînés par NTP souffrent d'un effondrement de sous-espace inhérent et manquent de mécanismes pour un ancrage externe continu, ce qui les rend structurellement inadaptés aux tâches de modélisation de monde ciblées par le DCGWM.
• Modestie : Les auteurs déclarent explicitement que les modes de défaillance sont formalisés et que l'architecture est spécifiée pour l'implémentation, mais que la validation empirique est en attente. Ce travail établit la formulation du problème et la nécessité structurelle de la solution proposée, laissant la vérification empirique aux révisions futures.