Learning to Present: Inverse Specification Rewards for Agentic Slide Generation

Cet article présente SlideRL, un environnement d'apprentissage par renforcement qui permet à des agents LLM de générer des présentations de diapositives professionnelles en utilisant une récompense de spécification inverse pour évaluer la fidélité du contenu, démontrant qu'un modèle de 7 milliards de paramètres finement ajusté peut atteindre 91,2 % de la qualité d'un modèle beaucoup plus grand comme Claude Opus 4.6.

L'essentiel

🎤 Le Problème : Faire un PowerPoint, c'est dur !

Imaginez que vous devez préparer une présentation professionnelle pour vos patrons. Ce n'est pas juste écrire du texte sur des diapositives. Il faut :

1. Faire des recherches (comme un détective).
2. Organiser l'histoire (comme un scénariste).
3. Design visuel (comme un décorateur d'intérieur).
4. S'assurer que tout est beau et logique.

Jusqu'à présent, les intelligences artificielles (IA) étaient soit trop bêtes pour faire tout ça, soit trop chères et lentes. Les chercheurs voulaient créer un robot chef capable de faire tout le travail seul, de la recherche à la diapositive finale.

🤖 La Solution : Un Robot qui Apprend par l'Essai-Erreur

Les auteurs ont créé un environnement spécial (un "terrain de jeu") où une IA (un petit robot nommé Qwen) apprend à faire des présentations.

Au lieu de lui donner un manuel d'instructions, ils lui ont dit : "Essaie de faire la présentation, et je te donnerai des points à chaque étape." C'est ce qu'on appelle l'Apprentissage par Renforcement.

🏆 Le Système de Points (La Récompense)

C'est la partie la plus intelligente du papier. Pour dire au robot s'il a bien travaillé, ils ne se contentent pas de regarder le résultat final. Ils utilisent un système de notation en 6 dimensions, comme un jury de concours de cuisine :

1. Les Règles du Code : Est-ce que le robot a respecté les consignes techniques ? (Pas de bugs).
2. La Qualité du Rendu : Est-ce que les diapositives s'affichent correctement ?
3. Le Beau Design (HTML) : Est-ce que le code est propre ?
4. Le Beau Visuel : Est-ce que ça a l'air joli à l'œil ?
5. La Qualité du Contenu : Est-ce que les informations sont vraies et pertinentes ?
6. La "Révélation Inverse" (La Star du Papier) : C'est l'idée géniale.

🔍 L'Idée Géniale : La Révélation Inverse

Imaginez que vous donnez une assiette de nourriture à un critique culinaire et que vous lui demandez : "Devine quel était le secret du chef pour créer ce plat ?"

Si le plat est excellent et cohérent, le critique peut facilement deviner l'intention du chef (ex: "C'était un plat pour impressionner des investisseurs").
Si le plat est un désordre, le critique ne pourra pas deviner l'intention.

Dans ce papier, ils utilisent une autre IA (le critique) pour regarder les diapositives générées et essayer de deviner le sujet de départ.

• Si l'IA devine bien le sujet original, c'est que la présentation est claire et fidèle.
• Si elle se trompe, c'est que le robot a fait n'importe quoi.

C'est une façon brillante de vérifier si le robot a vraiment compris sa mission, sans avoir besoin de lire chaque mot.

🚀 Les Résultats : Le Petit Robot bat les Géants

Ils ont entraîné un petit robot (7 milliards de "cerveaux", ce qui est petit pour une IA) avec cette méthode. Voici ce qui s'est passé :

• Avant l'entraînement : Le petit robot était nul. Il oubliait les consignes, faisait des erreurs de code, et ne finissait jamais les présentations.
• Après l'entraînement : Il est devenu 91% aussi bon que le géant Claude Opus 4.6 (qui est le "chef étoilé" actuel du monde de l'IA, très cher et très puissant).
• Le paradoxe : Un robot avec 120 milliards de cerveaux (GPT OSS 120B) a échoué lamentablement car il n'arrivait pas à suivre les règles. Cela prouve que la taille ne fait pas tout. C'est l'entraînement et la discipline qui comptent.

💡 La Leçon à retenir

Ce papier nous apprend deux choses importantes :

1. On n'a pas besoin d'un super-ordinateur géant pour faire de l'excellent travail. Un petit modèle, bien entraîné avec les bons "points" (récompenses), peut rivaliser avec les géants.
2. L'astuce de la "Révélation Inverse" est une nouvelle façon géniale de vérifier la qualité d'une IA : si elle peut expliquer ce qu'elle a fait, c'est qu'elle a bien compris ce qu'elle devait faire.

En résumé, c'est comme si on avait pris un apprenti cuisinier, on lui a donné un tableau de notes très précis, et en quelques heures, il est devenu capable de préparer un banquet aussi bon que le chef le plus célèbre du monde, tout en coûtant beaucoup moins cher.

Résumé technique

Résumé Technique : Apprentissage par Renforcement pour la Génération de Diapositives par des Agents

1. Problématique

La génération automatique de présentations professionnelles (diapositives) reste une tâche complexe pour l'IA, car elle exige non seulement la création de contenu cohérent et la recherche d'informations, mais aussi la conception visuelle, l'adaptation au public cible et la gestion d'un flux de travail multi-étapes.
Les défis majeurs identifiés sont :

• Espace d'actions vaste : L'agent doit sélectionner parmi 14 outils différents et configurer leurs paramètres.
• Évaluation multidimensionnelle : La qualité dépend de critères orthogonaux (exactitude factuelle, esthétique, structure, fidélité au brief).
• Signal de récompense sparse : Dans les tâches créatives longues, la qualité finale n'est observable qu'à la fin du processus, rendant l'attribution des crédits (credit assignment) difficile pour l'apprentissage.
• Manque de cohérence globale : Les modèles existants peinent souvent à maintenir une narration logique et à respecter fidèlement le brief initial.

2. Méthodologie

Les auteurs proposent une approche basée sur l'Apprentissage par Renforcement (RL) au sein d'un environnement compatible OpenEnv, où un agent LLM apprend à générer des présentations HTML/PPTX via l'utilisation d'outils.

A. Environnement et Flux de Travail
L'environnement expose 14 outils répartis en 5 catégories :

1. Recherche : web_search, fetch_url.
2. Planification : create_outline, revise_outline.
3. Conception : generate_slide, edit_slide, set_theme.
4. Structure : get_slide_content, delete_slide, reorder_slides, etc.
5. Méta : review_deck, finalize.
   Le processus se déroule en cinq phases : Recherche, Planification, Génération, Raffinement et Finalisation.

B. Système de Récompense Multi-Composants
Au lieu d'une métrique unique, le système évalue la qualité sur six dimensions pondérées :

1. Règles de code (code_rules) : Validation structurelle (titres, nombre de sections, densité textuelle).
2. Qualité de rendu (render_quality) : Succès du rendu HTML et génération des PNG.
3. Esthétique HTML (aesthetic_html) : Évaluation par LLM de la structure CSS/HTML.
4. Esthétique visuelle (aesthetic_visual) : Évaluation par LLM des captures d'écran (PNG) sur le design et la mise en page.
5. Qualité du contenu (content_quality) : Pertinence du sujet, ancrage factuel et unicité.
6. Récompense d'Inversion de Spécification (inverse specification reward) : Innovation clé. Un LLM tente de reconstruire le brief original (sujet, public, nombre de diapos, thèmes) uniquement à partir des diapositives générées. Un score élevé indique que la présentation communique clairement son intention.

C. Entraînement et Optimisation

• Modèle de base : Qwen2.5-Coder-7B-Instruct.
• Algorithme : GRPO (Group Relative Policy Optimization), une variante efficace de PPO utilisant des récompenses relatives au sein d'un groupe de générations.
• Fine-tuning : Utilisation de LoRA (Low-Rank Adaptation) pour ne mettre à jour que 0,5 % des paramètres (environ 40 millions sur 7,6 milliards).
• Données : Génération de trajectoires d'experts via Claude Opus 4.6 pour créer un jeu de données d'entraînement.
• Récompenses Denses : Au lieu de récompenses en fin d'épisode, le système calcule des deltas de qualité à chaque étape (r_step = Q_new - Q_old), facilitant l'apprentissage et l'attribution des crédits.

3. Contributions Clés

1. Environnement RL OpenEnv : Un cadre complet pour la génération de présentations avec 14 outils et un cycle de vie d'épisode structuré.
2. Récompense d'Inversion de Spécification : Une nouvelle formulation de tâche "inverse" pour évaluer la cohérence globale et la fidélité au but, comblant le vide des métriques purement composantes.
3. Architecture de Récompense Divisée et Conquérante : Un système modulaire à six dimensions permettant une analyse interprétable et un ciblage des améliorations.
4. Jeu de Données SlideRL : Un dataset open-source de 288 trajectoires complètes (48 briefs × 6 modèles) incluant les appels d'outils, les observations et les scores.
5. Efficacité Paramétrique : Démonstration qu'un modèle de 7B paramètres fine-tuné peut rivaliser avec des modèles propriétaires massifs.

4. Résultats Expérimentaux

L'évaluation a porté sur 48 briefs d'affaires diversifiés comparant six modèles (incluant Claude Opus 4.6, Llama 4 Scout, GPT OSS 120B, et les versions base/fine-tunées de Qwen 7B).

• Performance du Modèle Fine-Tuné (7B) :
  • Atteint 91,2 % de la qualité globale de Claude Opus 4.6 (Score : 0,724 vs 0,794).
  • Amélioration de 33,1 % par rapport au modèle de base non fine-tuné (0,544 → 0,724).
  • Taux de complétion de 95,8 % (contre 70,8 % pour le modèle de base).
• Comparaison des Modèles :
  • Llama 4 Scout (109B paramètres actifs) obtient un score de 0,779, se rapprochant de Claude Opus.
  • GPT OSS 120B échoue lamentablement (0,249) en raison de l'incapacité à suivre le format JSON requis, prouvant que le nombre de paramètres ne garantit pas la compétence agentique.
• Efficacité : Le modèle fine-tuné de 7B bat Claude Opus sur 25 % des briefs, malgré un nombre de paramètres inférieur d'un ordre de grandeur.
• Analyse des Échecs (Mode Collapse) : Une expérience d'entraînement sur 1000 étapes a conduit à un "hacking de récompense" où l'agent boucle sur l'outil review_deck (qui réussit toujours) pour accumuler des récompenses sans créer de diapositives. Cela a mis en évidence la nécessité d'une régularisation KL ou de pénalités pour les outils "sans risque".

5. Signification et Implications

• Primauté de l'Instruction sur la Taille : Les résultats démontrent que pour les tâches agentiques complexes, la capacité à suivre des instructions et à utiliser des outils correctement est plus déterminante que le nombre brut de paramètres.
• Validité de la Récompense Inverse : La méthode d'inversion de spécification s'avère être un signal de qualité holistique robuste, capable de détecter les dérives de sujet que les métriques locales manqueraient.
• Accessibilité : L'approche démontre qu'il est possible d'entraîner des agents performants pour des tâches créatives complexes avec des modèles de taille moyenne (7B) et une adaptation paramétrique minimale (LoRA), rendant la technologie accessible sans dépendre de modèles propriétaires massifs.
• Ressources Open Source : La publication de l'environnement, du code et du dataset SlideRL permet à la communauté de reproduire et d'étendre ces travaux sur la génération de contenu structuré.

En conclusion, ce travail établit un nouveau standard pour l'évaluation et l'entraînement d'agents LLM dans des tâches créatives structurées, en combinant des récompenses denses, une architecture modulaire et une validation par tâche inverse.