Résumé technique : Prédiction et autonomisation : Une théorie de l'agence par le biais d'interfaces-pont

1. Énoncé du problème

L'article aborde le défi de l'agence dans des conditions de partialité d'observabilité au sein de mondes physiques ou simulés déterministes. Dans de tels environnements, l'aléatoire apparent découle de l'incertitude concernant les conditions initiales, des « bits de loi » fixes et du bruit exogène déroulé. Les formulations standard des Processus de Décision Markoviens Partiellement Observables (POMDP) laissent souvent l'interface (le pont entre l'agent et l'environnement) implicite, rendant difficile le diagnostic des défaillances en matière de prédiction, de contrôle et d'autonomisation.

Le problème central réside dans la distinction entre différents modes d'agence :

• Prédiction : Identifier les états cachés ou les quotients pertinents pour une tâche.
• Contrôle/Autonomisation : La capacité d'influencer les états futurs.
• Raffinement de l'interface : La capacité de modifier les paramètres de détection ou d'action pour accéder à de meilleures informations ou canaux de contrôle.

L'article soutient qu'une forte autonomisation seule est insuffisante pour l'agence, car un agent pourrait contrôler des « distracteurs » irrélevants tout en échouant à identifier les états cachés pertinents pour la tâche. Inversement, une prédiction parfaite peut être obtenue par un « contrôle d'écrasement » (imposer un état cible indépendamment de la condition initiale cachée) sans réellement identifier l'état caché. L'article vise à formaliser les conditions dans lesquelles ces objectifs convergent ou divergent.

2. Méthodologie et cadre

Le POMDP à interface-pont

Les auteurs modélisent la détection et l'action comme des interfaces-pont divisées en deux composantes :

1. Côté propriété de l'agent ($\phi^S, \kappa^S$) : Paramètres contrôlés par l'agent (par exemple, format de requête, pose de la caméra, mode d'actionneur, invite).
2. Côté propriété de l'environnement ($\phi^X, \kappa^X$) : Conditions du canal déterminées par l'état du monde et les lois (par exemple, occlusion, éclairage, autorisation, géométrie de contact).

L'environnement est modélisé comme un POMDP à pont latent déterministe. L'incertitude est encapsulée dans une variable latente $Z$ (incluant l'état initial $X_0$, les bits de loi $\Lambda$ et le bruit exogène $\Xi$). Une loi a priori $p_0$ sur $Z$ pilote le système. La politique de l'agent mappe l'historique vers les actions et les paramètres de l'interface. La trajectoire en boucle fermée est une fonction déterministe de $(Z, \Sigma)$, où $\Sigma$ est une graine de politique privée.

Définitions clés

• Quotient cible ($Q$) : Une variable grossière représentant les distinctions pertinentes pour une famille de tâches.
• Sans perte : Un transcript est sans perte pour un quotient si l'entropie postérieure $H(Q | \text{Transcript}) = 0$.
• Écart de pont : Un ensemble de métriques quantifiant la « distance » entre les capacités de prédiction, de contrôle et d'observation. Celles-ci incluent :
  • $\Delta_{sense}$ : Erreur de compression de l'état caché.
  • $\Delta_{act}$ : Déficit de capacité de contrôle (différence entre le logarithme de la réachabilité et l'information mutuelle).
  • $\Delta_{V \tilde{V}}$ : Inadéquation entre le contrôle de l'observation et le contrôle de l'état.

Outils théoriques

L'article utilise des bornes informationnelles, spécifiquement l'information dirigée et l'information mutuelle, pour dériver des inégalités reliant l'historique de l'agent, ses actions et l'environnement latent. Il emploie le concept de raffinement de Blackwell pour comparer les expériences et définit le potentiel de pont comme une fonction scalaire à minimiser.

3. Contributions clés

A. Les théorèmes de l'écart de pont

L'article démontre des inégalités universelles de l'écart de pont (Théorème 1) qui bornent la différence entre les quantités d'information (par exemple, $I(Q; T)$ par rapport à $I(W; T)$) en utilisant des entropies conditionnelles.

• Résultat : Si les composantes de l'écart de pont s'annulent, les objectifs de prédiction, de compression et d'autonomisation convergent vers leurs valeurs sans perte ou à pleine capacité.
• Transfert de regret (Théorème 2) : L'article établit que l'optimisation d'un objectif (par exemple, l'autonomisation) comme substitut à un autre (par exemple, la prédiction) n'est valide que si l'oscillation de la différence d'objectif sur la classe de politiques est faible. Un écart faible à une politique unique est insuffisant ; l'écart doit être uniformément faible sur tout le paysage d'optimisation.

B. Séparation des objectifs

L'article démontre que la prédiction, l'identification et l'autonomisation sont arbitrairement séparables (Proposition 1) :

1. Autonomisation nulle, identification parfaite : Un agent peut parfaitement identifier un état latent sans avoir aucun contrôle sur celui-ci.
2. Autonomisation élevée, identification nulle : Un agent peut contrôler une variable distracteur tout en ne sachant rien de l'état latent pertinent.
3. Prédiction parfaite par écrasement : Un agent peut prédire parfaitement une cible terminale en écrasant l'état (effondrant les distinctions) sans identifier l'état initial caché.

C. Algorithme de poursuite de l'écart de pont (BGP)

Les auteurs proposent la Poursuite de l'Écart de Pont (BGP), un algorithme de contrôle intrinsèque basé sur un modèle.

• Mécanisme : La BGP définit un potentiel de pont $\Phi(h)$ qui agrège les déficits de détection (entropie postérieure), de réachabilité du canal, de contrôlabilité et de pertinence contrefactuelle.
• Façonnage de la récompense : L'agent reçoit une récompense basée sur la diminution de ce potentiel : $r_t = r_{task} + \beta(\Phi(H_t) - \Phi(H_{t+1}))$.
• Portes de pertinence : L'algorithme inclut des « portes de pertinence contrefactuelle » qui suppriment l'autonomisation sur des variables indépendantes du quotient cible ou de la valeur future de la tâche, empêchant l'agent d'optimiser des distracteurs irrélevants.
• Exactitude : Dans les domaines finis, la BGP minimise l'écart de pont terminal attendu par programmation dynamique.

D. Budget d'interface partagée fini

Le Théorème 7 établit un budget de capacité pour un transcript d'interface fini $B$. La somme de l'influence sortante (information dirigée action-observation) et de la preuve entrante (plasticité observation-action) est bornée par l'entropie du transcript de pont $H(B)$. Cela implique un compromis : une interface ne peut pas simultanément maximiser le contrôle sur le monde et le gain d'information depuis le monde, sauf si le pont est élargi ou si l'état est internalisé.

E. Limite d'absorption de prédiction (H2)

L'article formalise l'Hypothèse H2 : La maximisation conjointe des objectifs H1 conduit l'agent vers une « interface sans perte » ou une absorption de l'environnement pertinent.

• Théorème 8 : Si un quotient terminal $V$ est parfaitement prévisible à partir de l'état interne de l'agent $M_T$, alors l'information mutuelle entre le quotient latent initial $Q$ et $M_T$ est au moins égale à l'information mutuelle entre $Q$ et $V$.
• Implication : Une prédiction parfaite force l'agent soit à identifier l'état caché (absorption), soit à l'écraser (effondrement). Si la famille cible est séparatrice de tâches, une prédiction parfaite implique que l'agent a absorbé les distinctions environnementales pertinentes.

4. Résultats et références

L'article présente des références exactes finies (Section 10, Tableau 2) comparant la BGP à des objectifs standards (autonomisation sans porte, gain d'information en un pas/FE, perte de prédiction terminale, et retour d'entraînement grossier).

• Distracteur paramétrable : L'autonomisation sans porte échoue à identifier un latent caché de 4 bits ($H(Q|H_T)=4$) en contrôlant un distracteur de 8 bits. La BGP atteint 100 % de succès avec 0 ambiguïté.
• Capteur différé : Le gain d'information en un pas échoue à prendre une action préliminaire permettant une détection future (gain immédiat nul). La BGP réussit en valorisant la réachabilité du canal.
• Inspection-écrasement : La perte de prédiction terminale peut choisir d'écraser la cible (effondrant l'état) plutôt que de l'inspecter. La BGP sélectionne l'inspection lorsque le quotient cible nécessite une identification.
• Transfert de quotient : L'entraînement grossier ignore les bits affinés. La BGP, évaluée sur des quotients affinés, résout l'ambiguïté.

Dans tous les cas, la BGP sélectionne l'option à écart nul lorsqu'elle est accessible, tandis que les objectifs de base souffrent de modes de défaillance spécifiques (contrôle de distracteur, détection différée, effondrement par écrasement, ou résolution grossière).

5. Signification et revendications

L'article revendique fournir un principe de conception plutôt qu'un théorème d'inévitabilité pour les agents d'IA modernes.

• Principe de conception : Les objectifs doivent distinguer explicitement entre l'identification d'états cachés, le raffinement d'interface, la contrôlabilité pertinente pour la tâche et le contrôle d'écrasement/de distracteur.
• Alignement Humain-IA : L'article présente l'alignement en partie comme un problème de conception d'interface. Le « pont » connecte l'intention humaine, l'état interne de l'agent, les outils externes et les conditions du canal côté monde. Un désalignement peut survenir si l'agent optimise le mauvais côté du pont (par exemple, contrôler les autorisations sans comprendre l'intention).
• Opérationnalisation de l'intelligence : L'intelligence humaine est décrite comme une « gestion des frontières » — apprendre à atteindre des états de canal (ligne de vue, contact, attention partagée) permettant de meilleures expériences et compressant les quotients de tâche dans la mémoire.
• Limites : Les théorèmes exacts sont à horizon fini et à état fini. Une application évolutive nécessite des estimateurs appris pour l'entropie, la capacité et la pertinence. L'article ne revendique pas que la BGP est la seule solution, mais qu'elle adresse explicitement « l'écart de pont » que d'autres récompenses intrinsèques (comme la curiosité ou l'autonomisation) peuvent manquer.

L'ouvrage suggère que pour que les agents généralisent, ils doivent réduire les « bits de détection manquants », les « bits d'autorité manquants » et les « inadéquations de quotient » qui empêchent la prédiction et le contrôle de se référer à la même partie du monde.