Résumé Technique : Escalade Sélective de Modalité Post-hoc pour le RAG Multimodal Sensible au Coût

1. Énoncé du Problème

Les systèmes de génération augmentée par récupération (RAG) multimodaux doivent ancrer les grands modèles de langage (LLM) dans des preuves hétérogènes (texte, tableaux, images). Un défi de déploiement fondamental est l'asymétrie de coût entre les modalités : traiter du texte et des tableaux est peu coûteux en termes de calcul, tandis que traiter des images nécessite des modèles langage-vision (VLM) onéreux, entraînant une latence et des coûts de calcul élevés.

Les systèmes adaptatifs actuels prennent généralement des décisions de modalité pré-récupération (avant la lecture des preuves ou la rédaction d'une réponse). Ces systèmes utilisent un prédicteur conditionné par la question pour décider s'il faut invoquer un VLM en fonction de la pertinence visuelle apparente d'une question. Les auteurs soutiennent que ce n'est pas le bon point de décision. Ils postulent que la pertinence de la modalité n'est pas l'utilité de la modalité : une question peut être topiquement pertinente pour une image (pertinence) mais rester parfaitement答able en utilisant uniquement du texte et des tableaux (utilité). Par conséquent, les routeurs pré-récupération ont tendance à l'« sur-escalade », payant pour un traitement visuel sur des questions qui n'en ont pas strictement besoin, tout en pouvant manquer des cas où les indices visuels sont subtils mais nécessaires.

2. Méthodologie : Escalade Sélective de Modalité Post-hoc

Le papier propose un cadre qui retarde la décision de modalité jusqu'après une tentative de réponse peu coûteuse. Le système opère en trois étapes :

A. Génération de Brouillon Peu Coûteuse

Le système tente d'abord de répondre à la requête en utilisant uniquement un contexte de texte et de tableaux ($C_{tt}$). Cela produit un brouillon de réponse ($a_{tt}$) à un faible coût computationnel.

B. Vérification du Fossé de Modalité

Un vérificateur inspecte le tuple $(query, draft, evidence)$. Contrairement aux vérifications de suffisance standard qui émettent un signal binaire d'« insuffisance », ce vérificateur attribue le fossé de preuve à une modalité spécifique. Plus précisément, il détermine si l'évidence manquante requise pour corriger ou valider le brouillon est de nature visuelle.

• Distinction Clé : Le vérificateur se conditionne sur le brouillon de la réponse, et non seulement sur la requête. Si le brouillon est correct sur la base du texte/tableaux, le vérificateur l'accepte, évitant ainsi un appel visuel même si la question est visuellement pertinente.

C. Routeur de Valeur d'Escalade Calibré

Pour optimiser le compromis entre précision et coût, le système emploie un routeur calibré plutôt qu'un simple vérificateur binaire.

• Mécanisme : Le routeur apprend des estimations calibrées de la justesse pour deux actions : $\hat{p}_{KEEP}$ (précision si l'on reste avec le texte/tableaux) et $\hat{p}_{ESC}$ (précision si l'on escalade vers un VLM).
• Règle de Décision : L'escalade ne se produit que lorsque le gain de précision attendu dépasse un seuil $\tau$ :
  $$\hat{p}_{ESC}(q) - \hat{p}_{KEEP}(q) \geq \tau$$
• Caractéristiques : Le modèle utilise des signaux post-brouillon (ex. : abstention du brouillon, longueur du brouillon, vote du vérificateur, nombre de candidats d'images) mais exclut les annotations "gold" pour éviter la fuite de données.
• Résultat : Cela permet au système de tracer une frontière précision-escalade, permettant aux opérateurs de sélectionner un point de fonctionnement spécifique (budget) qui maximise la précision pour un coût visuel donné.

3. Contributions Clés

Le Fossé Pertinence de la Modalité–Utilité

À travers une analyse de la marge de l'oracle sur le jeu de données MultiModalQA, les auteurs démontrent que :

• Une pipeline texte+tableau répond correctement à ~35,1 % des questions.
• Une pipeline « VLM Toujours Actif » atteint 44,6 % mais avec 100 % de coût visuel.
• Un Oracle (qui sait exactement quelles questions nécessitent une image) atteint 43,0 % de précision tout en escaladant sur seulement 39 % des questions.
• Cela implique que ~61 % des questions avec des images annotées sont « saturées par la modalité » (répondables sans images). Les routeurs de pré-pertinence gaspillent des ressources sur ces questions saturées.

Escalade Sélective Post-hoc

Le papier introduit une méthode qui :

1. Répond de manière peu coûteuse d'abord.
2. Localise les lacunes d'évidence vers la modalité image via un vérificateur.
3. Escalade vers l'évidence VLM uniquement là où le fossé est visuel.
4. Utilise un modèle de valeur calibré pour décider si le gain justifie le coût, exposant une frontière précision-coût ajustable.

Validation Empirique

Sous un protocole de test rigoureux, avec budget égal et multi-graines sur MultiModalQA :

• Performance : Le routeur post-hoc surpasse une ligne de base de pré-récupération renforcée (de type VOILA) à travers divers budgets d'escalade. Par exemple, à un budget d'escalade de 45 %, la méthode post-hoc atteint 0,442 de précision contre 0,431 pour la ligne de base de pré-récupération.
• Proximité de l'Oracle : La méthode se rapproche de la performance de l'oracle de modalité (0,430 à 39 % d'escalade) en utilisant uniquement des signaux appris, tout en réduisant considérablement les appels visuels par rapport aux VLM toujours actifs.
• Validité Externe : Sur WebQA, où le fossé pertinence-utilité est faible (les modalités sont disjointes), la méthode post-hoc converge avec les lignes de base de pré-récupération, confirmant que le bénéfice de précision dépend de la taille du fossé pertinence-utilité.

4. Analyse du Coût et de la Latence

Le papier rapporte des coûts réels en ligne :

• Surcharge (Overhead) : La méthode post-hoc nécessite une génération de brouillon supplémentaire de 72B et un appel du vérificateur par question (environ 2,45 appels/question à 45 % d'escalade) par rapport à 1 appel pour les lignes de base.
• Latence : La latence de bout en bout est de ~4,49s (dominée par le vérificateur), comparée à ~0,91s pour le texte seul et ~1,40s pour un VLM toujours actif.
• Compromis : Les auteurs notent que bien que la latence soit plus élevée, la méthode est supérieure pour les scénarios privilégiant la précision à budget égal ou la réduction des appels visuels. Ils suggèrent que des travaux futurs pourraient atténuer la latence en déléguant le vérificateur à un modèle plus petit.

5. Signification et Revendications

Le papier prétend étendre la hiérarchie des signaux de routage établie dans la littérature RAG (où les décisions conditionnées par les brouillons de réponses ou des étapes de raisonnement spécifiques surpassent les décisions basées uniquement sur la requête) à un troisième axe : la modalité.

• Thèse Centrale : Les décisions de modalité devraient être prises après une tentative peu coûteuse, et non avant.
• Principe Unificateur : Les auteurs proposent un principe unique d'escalade sélective sensible au coût applicable à la profondeur de récupération, aux étapes de raisonnement et à la modalité : Répondre de manière peu coûteuse, vérifier par rapport à l'évidence, et escalader sélectivement uniquement là où cela en vaut la peine.
• Limites : Les auteurs reconnaissent que la méthode repose sur des "sidecars" visuels pré-calculés (coût VLM hors ligne) et peut ne pas être optimale si presque toutes les questions nécessitent de la vision. Ils notent également la dépendance aux journaux contrefactuels hors ligne pour l'entraînement du routeur.

En résumé, le papier démontre que séparer la pertinence de la modalité de l'utilité de la modalité via une vérification post-hoc et un routage calibré permet aux systèmes de RAG multimodaux d'atteindre une précision proche de l'oracle tout en réduissant considérablement les coûts d'inférence visuelle.