Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation
Cet article présente \textsc{Ptah}, un cadre multi-agent qui orchestre la planification, la collecte de preuves avec une mémoire de travail visuelle, et la génération de rapports imposée par un vérificateur afin de produire des rapports de recherche profonde multimodaux fiables, fidèles aux citations et intégrant visuellement des éléments.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous demandiez à un assistant intelligent de rédiger un rapport détaillé et professionnel sur un sujet complexe, comme « Comment fonctionnent les réseaux de neurones profonds ? » ou « Quel est l'état actuel du marché des véhicules électriques ? »
Autrefois, ces assistants se contentaient de vomir un mur de texte. Parfois, ils commettaient des erreurs de faits (hallucinaient), et s'ils tentaient d'ajouter des images, celles-ci étaient souvent aléatoires, sans rapport ou placées de manière maladroite, comme un collage réalisé par quelqu'un qui n'aurait pas lu les instructions.
Ce papier présente PTAH, un nouveau système conçu pour agir comme une équipe de maîtres constructeurs pour bâtir ces rapports. Au lieu d'un seul travailleur isolé essayant de tout faire à la fois, PTAH utilise une équipe d'agents spécialisés travaillant ensemble sous une supervision stricte pour construire un rapport qui mélange texte et images parfaitement.
Voici comment fonctionne PTAH, décomposé en étapes simples :
1. Le Plan (Planification)
D'abord, un Agent Planificateur agit comme un architecte. Avant de poser la première brique, il dessine un plan détaillé. Il décide :
- Des sections dont le rapport a besoin.
- Des faits qu'il faut trouver.
- Crucialement : Où les images doivent être placées et quel type d'images est nécessaire (par exemple, « Nous avons besoin d'un graphique ici pour montrer la croissance des ventes », ou « Nous avons besoin d'un schéma pour expliquer le moteur »).
2. L'Équipe de Collecte (Recherche)
Ensuite, une équipe d'Agents Chercheurs part sur Internet pour rassembler les matériaux.
- Ils trouvent les faits et les notent.
- Ils agissent également comme une chasse au trésor visuelle. Ils ne se contentent pas de saisir n'importe quelle image ; ils recherchent des images spécifiques correspondant au plan.
- Ils placent ces images « alignées sur la source » (images qui proviennent réellement des sites web qu'ils ont visités) dans une Mémoire de Travail Visuelle spéciale. Imaginez cela comme une boîte à outils numérique où chaque outil (image) est étiqueté avec exactement son origine et ce qu'il est censé prouver.
3. L'Inspecteur de Contrôle Qualité (Le Vérificateur)
C'est la partie la plus importante. Avant que le rapport ne passe à l'étape suivante, un Agent Vérificateur agit comme un inspecteur de chantier strict.
- Il vérifie : « Avez-vous réellement trouvé les faits que vous avez revendiqués ? »
- Il vérifie : « Cette image provient-elle réellement du site web que vous avez cité ? »
- Il vérifie : « Cette image a-t-elle du sens à côté de ce paragraphe ? »
- Si la réponse est « Non », l'équipe doit revenir en arrière et corriger le tir. Cela empêche le système d'inventer de faux faits ou de coller des images aléatoires et confuses.
4. La Chaîne de Montage (Rédaction)
Enfin, un Agent Rédacteur assemble le produit final. Au lieu de simplement taper du texte en espérant qu'une image s'intègre plus tard, il rédige le texte et les instructions pour les images ensemble, comme un chef d'orchestre dirigeant un orchestre.
- Il utilise la « boîte à outils » d'images vérifiées.
- Si un graphique spécifique est nécessaire mais n'existe pas encore, il peut en générer un.
- Il transforme ensuite le tout en une page web interactive et polie (comme un mini-site web) qui a un aspect professionnel et est facile à lire.
Le « Scaling au Moment du Test » (La Finition)
Avant de vous remettre le rapport, PTAH effectue une dernière ronde de « finition ». Il examine l'ensemble du rapport à nouveau pour corriger les espacements, s'assurer que les images ne sont pas trop serrées et que la mise en page est agréable à l'écran. C'est comme une dernière visite de contrôle avant que la maison ne soit vendue.
Comment ils l'ont testé (PTAHEval)
Les chercheurs ont réalisé que les anciens tests ne vérifiaient que si le texte était bon. Ils ont créé un nouveau test appelé PTAHEval pour juger l'ensemble du package :
- Qualité du Contenu de l'Image : L'image est-elle claire ? Aide-t-elle réellement à expliquer le texte ?
- Qualité de la Présentation : La page web finale a-t-elle une bonne apparence ? Est-elle facile à lire, ou est-ce un désordre confus ?
Les Résultats
Lorsqu'ils ont testé PTAH contre d'autres systèmes intelligents :
- Meilleurs Faits : PTAH a fait moins d'erreurs et a cité de vraies sources beaucoup plus souvent.
- Meilleures Images : Les images étaient réellement pertinentes et utiles, pas juste décoratives.
- Meilleure Mise en Page : Les rapports finaux ressemblaient à des documents professionnels, pas à des brouillons désordonnés.
En résumé : PTAH revient à engager une équipe d'architectes, de constructeurs et d'inspecteurs pour bâtir une maison, plutôt que de demander à une seule personne de deviner le plan et de tout construire d'un coup. Le résultat est un rapport qui n'est pas seulement intelligent, mais aussi visuellement digne de confiance et facile à comprendre pour les humains.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.