SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

Résumé Technique : SAFE-Cascade

Énoncé du Problème
Les modèles de vision-langage (VLM) ont démontré de fortes capacités en matière de réponse aux questions sur les graphiques (ChartQA), pourtant l'invocation d'un VLM complet pour chaque requête est souvent coûteuse en termes de calcul et inutile. De nombreuses questions sur les graphiques peuvent être résolues en combinant l'extraction de texte par reconnaissance optique de caractères (OCR) avec un raisonnement linguistique léger, sans nécessiter un ancrage visuel profond. Le problème central abordé est la manière de router dynamiquement les requêtes entre une voie de faible coût basée uniquement sur le texte et une voie VLM à coût élevé afin d'optimiser les coûts d'inférence tout en maintenant la précision des réponses.

Méthodologie
SAFE-Cascade est un système interactif et adaptatif au coût, conçu pour router les requêtes de ChartQA en fonction de la nécessité estimée d'une inférence visuelle. Le système fonctionne via un pipeline en quatre étapes :

1. Extraction OCR : Dès la réception d'une image de graphique et d'une question en langage naturel, le système extrait d'abord le texte, les fragments de mise en page et les jetons (tokens) en utilisant Azure Document Intelligence.
2. Réponse Texte-Seul : Un grand modèle de langage (LLM) exclusivement textuel (spécifiquement gpt-5-mini) traite la question et le texte OCR extrait pour générer une réponse provisoire.
3. Routage Appris : Un classificateur Random Forest agit comme un routeur. Il analyse les caractéristiques au moment de l'inférence — incluant la longueur/densité de l'OCR, la longueur de la question, les indicateurs numériques/de comparaison, le chevauchement question-OCR, la longueur de la réponse textuelle, ainsi que les indicateurs de réponses inconnues ou vides — pour estimer une probabilité d'escalade ($p_{esc}$).
4. Escalade Conditionnelle : Si $p_{esc}$ dépasse un seuil configurable ($\theta$), le système escalade la requête vers un VLM (spécifiquement gemini-2.5-flash-image) qui traite l'image originale et la question. Sinon, la réponse textuelle est acceptée comme finale.

Le système est implémenté sous la forme d'un service modulaire avec une interface Streamlit transparente. Il expose l'ensemble du processus de décision à l'utilisateur, affichant les preuves OCR, la réponse textuelle provisoire, la probabilité de routage, la décision finale, ainsi que le coût et la latence estimés.

Contributions Clés
L'article présente quatre contributions principales :

• Système de Chart QA Adaptatif au Coût : Une architecture novatrice qui route sélectivement entre le raisonnement OCR plus texte et le raisonnement VLM complet plutôt que de privilégier par défaut ce dernier.
• Interface de Routage Transparente : Contrairement au routage "boîte noire", SAFE-Cascade visualise les preuves (extraits OCR), la réponse provisoire, la confiance du routeur et le résultat final, permettant aux utilisateurs d'inspecter pourquoi une voie visuelle a été ou non invoquée.
• Frontière Opérationnelle Interactive : Le système inclut un curseur de seuil qui permet aux utilisateurs d'explorer de manière interactive le compromis entre précision et coût (taux d'invocation du VLM) en temps réel.
• Validation sur Données Excluses : Le système est validé sur un échantillon test exclu du benchmark ChartQA, démontrant qu'un routage appris peut égaler les performances d'un VLM complet tout en réduisant considérablement les appels au VLM.

Résultats
Évalué sur un échantillon de test de 375 exemples provenant du jeu de données ChartQA-2500 :

• Précision : SAFE-Cascade (avec un seuil $\theta=0,3$) a atteint une précision unifiée de 69,1 %. Cela est statistiquement comparable à la ligne de base du VLM complet, qui a atteint 67,7 % de précision (les intervalles de confiance se chevauchent).
• Efficacité : Le système a réduit l'invocation du VLM de 26,9 % (de 100 % à 73,1 %) et a réduit les coûts d'inférence estimés de 9,3 % par rapport à la ligne de base du VLM complet.
• Performance du Routage : Le routeur a obtenu un score F1 d'escalade de 84,2 %, avec un rappel de 87,4 % et une précision de 81,3 %. Le principal mode de défaillance identifié était l'« escalade manquée » (5,9 %), où le système a accepté une réponse textuelle incorrecte que le VLM aurait pu corriger.
• Sensibilité au Seuil : Un balayage des seuils a révélé qu'abaisser le seuil augmente l'utilisation du VLM et préserve la précision, tandis qu'augmenter le seuil réduit les coûts mais augmente significativement le taux d'escalades manquées (par exemple, à $\theta=0,7$, les escalades manquées montent à 27,2 %).

Signification et Revendications
Les auteurs positionnent SAFE-Cascade non pas simplement comme une amélioration de performance par rapport aux modèles existants, mais comme un cadre transparent et ajustable pour l'inférence multimodale. L'article affirme que le système démontre avec succès comment un routage sélectif de modalités peut rendre les systèmes de connaissance plus conscients des coûts et plus interprétables.

Les auteurs présentent leurs résultats avec modestie : ils ne revendiquent pas d'amélioration statistiquement significative de la précision par rapport au VLM complet. Au lieu de cela, ils interprètent le système comme étant capable d'égaler les performances du VLM complet tout en réalisant des réductions de coûts substantielles. La portée réside dans la capacité à exposer la « frontière coût-précision » aux utilisateurs, leur permettant d'ajuster le comportement du système en fonction de contraintes budgétaires ou de latence spécifiques. Le travail souligne que le gain principal provient de l'apprentissage de quand la voie textuelle est insuffisante, plutôt que de simplement ajouter de l'OCR ou d'utiliser des règles heuristiques.

Limites
L'article reconnaît plusieurs limites : la validation est actuellement restreinte au jeu de données ChartQA ; les valeurs de latence sont des estimations et non des mesures de production réelles ; le routeur est séquentiel (post-texte) plutôt que spéculatif ; et les estimations de coût sont basées sur des prix configurés plutôt que sur une facturation réelle. Des travaux futurs sont suggérés pour une validation trans-domaine (ex: DocVQA) et pour l'exploration de stratégies de pré-routage ou d'exécution parallèle.