Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

Technische Samenvatting: Gedwongen Uitstel bij Multimodale LLM-cascades

Probleemstelling
Multimodale Large Language Models (MLLM's) bieden krachtige visuele redeneervaardigheden, maar brengen substantiële inferentiekosten met zich mee wanneer ze voor elke query worden ingezet. Om dit te mitigeren, maken recente systemen gebruik van MLLM-cascades, waarbij een goedkoper, zwakker model ($M_w$) eerst queries afhandelt en alleen onzekere gevallen doorstuurt naar een sterker, duurder model ($M_s$). De beslissing om uitstel toe te staan, berust op een betrouwbaarheidssignaal dat is afgeleid van de output van het zwakke model (bijv. token-waarschijnlijkheden, perplexiteit of consistentie).

Het onderzoek identificeert een kritieke kwetsbaarheid in deze architectuur: het betrouwbaarheidssignaal fungeert als een mechanisme voor computertoewijzing dat gemanipuleerd kan worden. In tegenstelling tot traditionele adversarial attacks die gericht zijn op het verslechteren van de antwoordcorrectheid of het omzeilen van veiligheidsalignement, richt deze dreiging zich op de efficiëntie van het systeem. Een aanvaller kan de betrouwbaarheid van het zwakke model manipuleren om onnodig uitstel naar het sterke model af te dwingen. Hierdoor kan de aanvaller hoogwaardige antwoorden verkrijgen terwijl de computationele kosten naar de serviceprovider worden verschoven, wat de economische voordelen van gecascadeerde inferentie ondermijnt.

Methodologie: Forced Deferral Attack (FDA)
De auteurs stellen de Forced Deferral Attack (FDA) voor, een adversarial beeldattack die ontworpen is om de betrouwbaarheid van het zwakke model te verlagen zonder de semantische inhoud van de query te wijzigen. De aanval adresseert drie primaire uitdagingen:

1. Onbekende Metrieken: De aanvaller kent de specifieke onzekerheidsmetriek (bijv. Answer Probability, Inverse Perplexity, Jaccard Similarity) of de deferral-drempelwaarde die door het ingezette systeem wordt gebruikt, niet.
2. Semantische Preservatie: De perturbatie mag de visuele inhoud niet verslechteren, aangezien het sterke model nog steeds in staat moet zijn de query correct te beantwoorden.
3. Universaliteit: De aanval moet een enkele, herbruikbare trigger zijn die één keer geoptimaliseerd wordt, in plaats van een per-query optimalisatie.

Kerncomponenten:

• Metriek-Agnostische Doelstelling: In plaats van te optimaliseren tegen een specifieke betrouwbaarheidsscore, richt FDA zich op de onderliggende tokenverdeling. De aanval construeert een temperatuur-afgevlakte doelverdeling ($q^T_t$) uit de schone logits ($z_t$) van het zwakke model met behulp van een temperatuur $T > 1$. Dit vlakt de verdeling af (vermindert concentratie) terwijl de relatieve rangorde van tokens uit de schone respons behouden blijft.
• Teacher-Forcing Optimalisatie: De aanval minimaliseert de Kullback-Leibler (KL) divergentie tussen de verdeling van het zwakke model op de geperturbeerde input en de afgevlakte doelverdeling. Dit dwingt het model om minder zelfverzekerde voorspellingen te genereren langs het traject van de schone output.
• Universele Grens-Trigger: Om de semantiek te behouden, wordt de perturbatie beperkt tot een universele grenszone rondom de afbeelding. De centrale visuele inhoud blijft intact, waardoor het sterke model een geldige query ontvangt. De trigger wordt geleerd als een vast patroon dat op de rand van de afbeelding wordt toegepast.

Belangrijkste Bijdragen

1. Dreigingsformulering: Het artikel identificeert en formaliseert de "cascade deferral attack" als een nieuwe, op efficiëntie gerichte dreiging. Het verschuift de focus van adversarial attacks van voorspellingscorrectheid naar de manipulatie van de computetoewijzing.
2. Nieuw Aanvalsmechanisme: De auteurs stellen een antwoord-agnostische universele grens-trigger voor, geoptimaliseerd via een temperatuur-afgevlakte teacher-forcing doelstelling. Dit maakt metriek-agnostische manipulatie van uitstel mogelijk terwijl de prestaties van het sterke model op getriggerde inputs behouden blijven.
3. Empirische Validatie: De studie toont aan dat FDA effectief, overdraagbaar en robuust is over meerdere datasets (MMBench, ScienceQA, MMMU), modelfamilies (Gemma4, Qwen3-VL) en deferral-metrieken.

Experimentele Resultaten
De evaluatie vergelijkt FDA met baselines, waaronder generieke beeldperturbaties (defocus blur) en prompt injectie.

• Reroute Rate: FDA verhoogt de snelheid waarmee queries naar het sterke model worden doorgestuurd aanzienlijk. Over verschillende datasets en modelparen heen presteert FDA consistent beter dan de baselines, waarbij het de werkelijke reroute rate dicht bij 1.0 brengt, zelfs bij lage gekalibreerde deferral rates.
• Reductie van Betrouwbaarheid: De aanval verlaagt de betrouwbaarheidsscores van het zwakke model drastisch (bijv. het verlagen van de Answer Probability van ~0.94 naar ~0.03 in sommige gevallen) zonder de input-semantiek te veranderen.
• Systeemnauwkeurigheid: Cruciaal is dat de verhoogde routing de uiteindelijke systeemnauwkeurigheid niet verslechtert. Omdat het sterke model de originele semantische inhoud ontvangt (alleen de rand is geperturbeerd), blijft het hoogwaardige antwoorden geven.
• Overdraagbaarheid: De aanval is effectief overdraagbaar naar verschillende modelfamilies en onzekerheidsmetrieken, wat bevestigt dat de aanval een fundamentele eigenschap van het betrouwbaarheidsmechanisme aanvalt in plaats van een specifiek implementatiedetail.

Betekenis en Claims
Het artikel claimt dat MLLM-cascades, hoewel efficiënt, een nieuw aanvalsoppervlak blootleggen waar de beslissing over uitstel zelf kwetsbaar is. De betekenis ligt in het aantonen dat een aanvaller de hulpbronnenallocatie van het systeem kan manipuleren om dure inferentie af te dwingen zonder de veiligheid of de antwoordcorrectheid van het model in gevaar te brengen. Dit benadrukt een gat in het huidige onderzoek, dat zich heeft gericht op de trade-off tussen kosten en kwaliteit onder gunstige omstandigheden of op robuustheid tegen output-fouten, maar de robuustheid van betrouwbaarheid-gebaseerde routingmechanismen grotende-ende over het hoofd heeft gezien. Het werk suggereert dat huidige deferral-strategieën onvoldoende zijn om te voorkomen dat aanvallers het computetoewijzingssignaal uitbuiten.