Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

Résumé Technique : Différé Forcé dans les Cascades de MLLM

Énoncé du Problème
Les modèles de langage multimodaux (MLLM) offrent de puissantes capacités de raisonnement visuel mais engendrent des coûts d'inférence substantiels lorsqu'ils sont déployés pour chaque requête. Pour atténuer cela, des systèmes récents emploient des cascades de MLLM, où un modèle plus faible et moins coûteux ($M_w$) traite les requêtes en premier, ne déléguant que les cas incertains à un modèle plus fort et plus coûteux ($M_s$). La décision de différer repose sur un signal de confiance dérivé de la sortie du modèle faible (par exemple, les probabilités de jetons, la perplexité ou la cohérence).

L'article identifie une vulnérabilité critique dans cette architecture : le signal de confiance agit comme un mécanisme d'allocation de calcul qui peut être manipulé. Contrairement aux attaques adverses traditionnelles qui visent à dégrader la justesse de la réponse ou à contourner l'alignement de sécurité, cette menace cible l'efficacité du système. Un adversaire peut manipuler la confiance du modèle faible pour forcer des différés inutiles vers le modèle fort. Cela permet à l'attaquant d'obtenir des réponses de haute qualité tout en transférant le coût de calcul au fournisseur de services, sapant ainsi les bénéfices économiques de l'inférence en cascade.

Méthodologie : Attaque par Différé Forcé (FDA - Forced Deferral Attack)
Les auteurs proposent l'Attaque par Différé Forcé (FDA), une attaque d'image adversaire conçue pour abaisser la confiance du modèle faible sans altérer le contenu sémantique de la requête. L'attaque répond à trois défis principaux :

1. Métriques Inconnues : L'attaquant ne connaît pas la métrique d'incertitude spécifique (par exemple, Probabilité de Réponse, Perplexité Inverse, Similitude de Jaccard) ni le seuil de différé utilisé par le système déployé.
2. Préservation Sémantique : La perturbation ne doit pas dégrader le contenu visuel, car le modèle fort doit toujours être capable de répondre correctement à la requête.
3. Universalité : L'attaque doit être un déclencheur unique et réutilisable, optimisé une seule fois, plutôt qu'une optimisation par requête.

Composants Clés :

• Objectif Agnostique à la Métrique : Au lieu d'optimiser contre un score de confiance spécifique, la FDA cible la distribution sous-jacente des jetons. L'attaque construit une distribution cible à température aplatie ($q^T_t$) à partir des logits propres du modèle faible ($z_t$) en utilisant une température $T > 1$. Cela aplatit la distribution (réduisant la concentration) tout en préservant le classement relatif des jetons de la réponse propre.
• Optimisation par Teacher-Forcing : L'attaque minimise la divergence de Kullback-Leibler (KL) entre la distribution du modèle faible sur l'entrée perturbée et la distribution cible aplatie. Cela force le modèle à générer des prédictions moins confiantes le long de la trajectoire de sortie propre.
• Déclencheur de Bordure Universel : Pour préserver la sémantique, la perturbation est contrainte à une région de bordure universelle entourant l'image. Le contenu visuel central reste intact, garantissant que le modèle fort reçoit une requête valide. Le déclencheur est appris comme un motif fixe appliqué à la bordure de l'image.

Principales Contributions

1. Formalisation de la Menace : L'article identifie et formalise l'« attaque de différé de cascade » comme une nouvelle menace orientée vers l'efficacité. Il déplace l'attention de l'adversaire de la justesse de la prédiction vers la manipulation de l'allocation de calcul.
2. Mécanisme d'Attaque Novateur : Les auteurs proposent un déclencheur de bordure universel agnostique à la réponse, optimisé via un objectif de teacher-forcing à température aplatie. Cela permet une manipulation du différé agnostique à la métrique tout en maintenant la performance du modèle fort sur les entrées déclenchées.
3. Validation Empirique : L'étude démontre que la FDA est efficace, transférable et robuste à travers plusieurs jeux de données (MMBench, ScienceQA, MMMU), familles de modèles (Gemma4, Qwen3-VL) et métriques de différé.

Résultats Expérimentaux
L'évaluation compare la FDA à des bases de référence incluant des perturbations d'images génériques (flou de défocalisation) et l'injection de prompts.

• Taux de Reroutage : La FDA augmente considérablement le taux de requêtes acheminées vers le modèle fort. À travers les jeux de données et les paires de modèles, la FDA surpasse systématiquement les bases de référence, poussant le taux de reroutage réel proche de 1,0 même avec de faibles taux de différé calibrés.
• Réduction de la Confiance : L'attaque abaisse drastiquement les scores de confiance du modèle faible (par exemple, réduisant la Probabilité de Réponse d'environ 0,94 à 0,03 dans certains cas) sans changer la sémantique de l'entrée.
• Précision du Système : Crucialement, l'augmentation du routage ne dégrade pas la précision finale du système. Puisque le modèle fort reçoit le contenu sémantique original (seule la bordure est perturbée), il continue de fournir des réponses de haute qualité.
• Transférabilité : L'attaque se transfère efficacement à travers différentes familles de modèles et métriques d'incertitude, confirmant que l'attaque cible une propriété fondamentale du mécanisme de confiance plutôt qu'un détail d'implémentation spécifique.

Signification et Revendications
L'article affirme que les cascades de MLLM, bien qu'efficaces, exposent une nouvelle surface d'attaque où la décision de différé elle-même devient vulnérable. La signification réside dans la démonstration qu'un adversaire peut manipuler l'allocation des ressources du système pour forcer une inférence coûteuse sans avoir besoin de compromettre la sécurité ou la justesse de la réponse du modèle. Cela souligne une lacune dans la recherche actuelle, qui s'est concentrée sur les compromis coût-qualité dans des conditions bénignes ou sur la robustesse face aux erreurs de niveau de sortie, mais a largement négligé la robustesse des mécanismes de routage basés sur la confiance. Le travail suggère que les stratégies de différé actuelles sont insuffisantes pour empêcher les adversaires d'exploiter le signal d'allocation de calcul.