Résumé Technique : INAR-VL

Énoncé du Problème

Le déploiement de modèles vision-langage (VLM) dans des environnements périphériques (par exemple, appareils mobiles, robots, caméras embarquées) fait face à un compromis fondamental entre la latence/efficacité énergétique et la précision des prédictions. L'exécution dans le cloud offre une haute précision mais engendre des délais de communication et des coûts énergétiques significatifs, tandis que l'exécution uniquement périphérique est plus rapide et plus économe en énergie mais souffre d'une capacité de modèle limitée et d'une précision réduite, en particulier sur des entrées visuellement dégradées ou des tâches de raisonnement complexes.

Les approches de routage existantes reposent souvent sur des décisions de placement statiques ou une estimation de la difficulté basée uniquement sur le texte, échouant à prendre en compte l'hétérogénéité des entrées multimodales. Plus précisément, elles ne capturent pas adéquatement les effets de la dégradation visuelle (par exemple, flou, éclairage, artefacts de compression) qui impactent considérablement les performances du modèle. De plus, différentes architectures de VLM présentent des forces complémentaires (par exemple, certaines excellent en OCR/reconnaissance fine, d'autres en raisonnement), pourtant les systèmes statiques ne peuvent exploiter cette diversité de manière dynamique. Le défi consiste à concevoir un système de routage qui prend des décisions pré-inférence basées sur des signaux d'entrée légers pour optimiser la sélection du modèle, la résolution d'entrée et le placement d'exécution (périphérie vs cloud) sans engendrer la surcharge de l'exécution de VLM coûteux pour la caractérisation.

Méthodologie : INAR-VL

INAR-VL est un système de routage léger et conscient de l'entrée, conçu pour un déploiement à deux niveaux périphérie-cloud. Il fonctionne en caractérisant les requêtes entrantes avant d'invoquer toute inférence lourde de VLM.

1. Architecture du Système

Le système maintient un pool hétérogène de quatre VLM : deux modèles compacts (Qwen3-VL-2B, SmolVLM-2B) déployés sur la périphérie (8 Go de VRAM, précision INT8) et deux modèles plus grands (LLaVA-OV-8B, Qwen3-VL-8B) dans le cloud (précision FP16).

Le pipeline de routage se compose de :

• Extraction de Caractéristiques : À la réception d'une paire (image, question), le système extrait un vecteur de caractéristiques de 10 dimensions avant l'inférence :
  • Caractéristiques Visuelles (4) : Flou, exposition, artefacts JPEG et signaux de détail.
  • Caractéristiques Textuelles (6) : Longueur, densité d'entités/numériques, type de question, complexité du vocabulaire, marqueurs de raisonnement et marqueurs de dépendance contextuelle.
• Fusion de Caractéristiques : Ces signaux sont normalisés et fusionnés en un descripteur de requête.
• Routage Basé sur Pareto : Le routeur évalue les configurations valides (modèle, précision, résolution, placement) pour construire une frontière de Pareto par requête. Il prédit la qualité de la réponse et le coût estimé (latence, énergie, surcharge réseau) pour chaque candidat.
• Logique de Décision : Le système privilégie l'exécution périphérique si la qualité prédite est suffisante. Le transfert vers le cloud ne se produit que si le gain de qualité attendu dépasse un seuil calibré ($\delta_{min} = 0.03$) et justifie le coût supplémentaire.

2. Prédiction de Qualité et de Coût

Le système utilise un prédicteur de qualité calibré ($\hat{q}$) et un estimateur de coût ($\hat{c}$).

• Prédiction de Qualité : La qualité prédite prend en compte la précision de base du modèle, les ajustements de précision, l'échelle de résolution et les pénalités pour les incohérences entre les besoins d'entrée (par exemple, fort flou, fort détail) et les forces du modèle (robustesse au flou, capacité de détail/OCR, capacité de raisonnement).
• Estimation de Coût : Combine la latence (proportionnelle à la taille du modèle et à la résolution), l'énergie (basée sur la puissance GPU et le niveau d'exécution) et les termes réseau (surcharge de transfert d'image).
• Calibration : Les paramètres sont calibrés hors ligne à l'aide d'un ensemble de données retenu (1 000 échantillons par référence) pour ajuster les coefficients d'échelle de résolution, les pénalités d'incohérence et les poids de coût. Cette calibration est consciente du matériel mais n'est effectuée qu'une seule fois par configuration de déploiement.

Contributions Clés

1. Routage Multimodal Conscient de l'Entrée : INAR-VL introduit un mécanisme de routage qui utilise des signaux légers issus à la fois de la qualité de l'image et de la complexité du texte pour guider les décisions, répondant à l'hétérogénéité des charges de travail multimodales que les approches uniquement textuelles ou statiques manquent.
2. Optimisation Jointe : Contrairement aux travaux antérieurs qui optimisent une seule dimension, INAR-VL optimise conjointement l'architecture du modèle, la résolution d'entrée et le placement d'exécution (périphérie vs cloud) sous des contraintes pratiques (mémoire, énergie, variabilité réseau).
3. Politique Consciente du Déploiement : Le système emploie une règle de préférence périphérique qui équilibre explicitement la récupération de précision contre les coûts de latence et d'énergie, garantissant que le transfert ne se produit que lorsqu'il est bénéfique.
4. Implémentation Pratique : Le système est implémenté et évalué sur du matériel réel (périphérie NVIDIA RTX 4060, cloud RTX PRO 6000) avec une surcharge de routage de seulement 10 à 30 ms.

Résultats Expérimentaux

Le système a été évalué sur trois références de Réponse aux Questions Visuelles (VQA) : VQAv2, TextVQA et GQA, en utilisant 2 000 échantillons par ensemble de données.

• Précision vs Efficacité : INAR-VL a atteint une précision moyenne de 72,1 %, récupérant 71 % de l'écart de précision entre l'exécution uniquement périphérique (66,5 %) et l'exécution uniquement cloud (74,4 %).
• Distribution du Routage : Le système a exécuté 36 % des requêtes sur la périphérie, filtrant efficacement les requêtes de faible complexité localement.
• Gains de Performance : Par rapport à l'exécution uniquement cloud, INAR-VL a réduit la latence moyenne de 24 % (de 2408 ms à 1826 ms) et la consommation énergétique de 26 % (de 26,0 J à 19,2 J).
• Études d'Ablation :
  • Importance des Signaux : Les caractéristiques textuelles se sont révélées être le signal dominant ; un routeur uniquement textuel a atteint 71,4 % de précision, tandis qu'un routeur uniquement image est tombé à 68,6 %.
  • Diversité des Modèles : L'utilisation d'un pool diversifié de modèles (architectures Qwen et LLaVA) a amélioré la précision moyenne de 0,9 point de pourcentage par rapport à une stratégie de routage statique utilisant uniquement des modèles Qwen.
• Robustesse : Le système a démontré une stabilité à travers différentes largeurs de bande réseau (10–1000 Mbps). Une garde de bande passante (15 Mbps) assure une exécution uniquement périphérique lorsque la connectivité est mauvaise, maintenant une précision cohérente tandis que la latence évolue avec la bande passante.

Signification et Revendications

L'article revendique qu'INAR-VL fournit une solution pratique pour le déploiement de VLM dans des environnements périphériques contraints en ressources. En modélisant explicitement les compromis entre l'hétérogénéité des entrées, les capacités des modèles et les contraintes de déploiement, le système atteint un compromis latence-précision-énergie supérieur par rapport aux bases statiques.

Les auteurs soulignent que, bien que le système n'atteigne pas la performance « Oracle » (90,6 % de précision, qui sélectionne le meilleur modèle a posteriori), il récupère la majorité de l'avantage de précision du cloud tout en réduisant considérablement les coûts opérationnels. L'approche est présentée comme agnostique au matériel et généralisable ; de nouveaux niveaux matériels ou modèles peuvent être intégrés en recalibrant les seuils de routage sans altérer la méthodologie de base. Le travail met en évidence que le routage conscient de l'entrée est essentiel pour les charges de travail multimodales où le placement statique échoue à s'adapter à la variabilité de la complexité visuelle et textuelle.