Technische Samenvatting: EntropyScan

Probleemstelling

Grote Visueel-Taalmmodellen (LVLMs) worden steeds vaker als third-party checkpoints gedistribueerd via Model-as-a-Service (MaaS)-paradigma's, wat aanzienlijke veiligheidsrisico's creëert. Hoewel bestaande verdedigingsmechanismen zich voornamelijk richten op detectie op niveaus van individuele voorbeelden (het filteren van vergiftigde trainingsdata of het perturberen van invoer tijdens inferentie), vereisen deze doorgaans toegang tot de originele trainingsdataset of kennis van specifieke aanvalstriggers. Er blijft een kritieke lacune bestaan in detectie op modelniveau: het bepalen of een gefinaliseerde, third-party checkpoint een verborgen backdoor bevat zonder voorafgaande kennis van triggerpatronen, doelresponsen of de vergiftigde trainingsdata. De ondoorzichtigheid van het trainingsproces en de subtiele inbedding van triggers binnen de enorme gewichtenruimte maken deze taak bijzonder uitdagend.

Methodologie: EntropyScan

De auteurs stellen EntropyScan voor, een lichtgewicht, trigger-agnostisch framework dat is ontworpen om met backdoors besmette LVLMs te detecteren door structurele anomalieën in visuele aandacht te analyseren. De kernhypothese is dat injectie van backdoors de mechanismen voor kruismodale uitlijning binnen het model verstoort, wat leidt tot meetbare afwijkingen in de toewijzing van visuele aandacht, zelfs op onschadelijke invoer.

De methodologie verloopt in drie fasen:

1. Extractie van Entropie van Visuele Aandacht:

   • De methode richt zich op de initiële laag (Layer-0) van het Large Language Model (LLM)-component, waar visuele tokens voor het eerst integreren met tekstuele representaties.
   • Het extrahert visuele aandachtsweights uit de self-attention-modules. Specifiek isoleert het het vector van aandachtskansen dat is toegewezen aan visuele tokens ($\mathcal{V}$) voor het laatste token van de invoersequentie.
   • Om het interne distributiepatroon te ontkoppelen van de algehele aandachtsmagnitude, voeren de auteurs modaal renormalisatie uit om een conditionele kansverdeling $P_{\mathcal{V}}$ te creëren.
   • Tsallis-entropie ($H_q$) wordt berekend op deze verdeling. Tsallis-entropie wordt gekozen boven Shannon- of Rényi-entropie omdat de niet-extensieve parameter ($q$) een verhoogde gevoeligheid biedt voor de "staart" van de verdeling, waardoor het effectiever is in het detecteren van subtiele structurele anomalieën veroorzaakt door sluipende backdoors.

2. Referentie-geankerde Z-score Normalisatie:

   • Om een basislijn te vestigen, maakt het systeem gebruik van een schone, onschadelijke referentiemodel ($M_{ref}$) met dezelfde architectuur als het verdachte model ($M_{target}$) en een kleine schone validatiedataset ($D_{val}$).
   • Statistieken (gemiddelde $\mu_{ref}$ en standaardafwijking $\sigma_{ref}$) worden berekend uit de entropiewaarden van het referentiemodel.
   • De entropiewaarden van het verdachte model worden vervolgens genormaliseerd met behulp van deze referentiestatistieken om een Z-score te berekenen. Dit brengt de schaal van de entropie van het verdachte model in lijn met de onschadelijke verdeling, waardoor systematische afwijkingen kunnen worden geïdentificeerd.

3. Detectiebeslissing:

   • De methode berekent een anomaliescore $s(x)$ voor elke steekproef op basis van de absolute afwijking van zijn Z-score van de mediaan van de referentie.
   • De definitieve beslissing wordt genomen door het Area Under the Receiver Operating Characteristic (AUC)-gebied te berekenen tussen de anomaliescores van het verdachte model en het referentiemodel.
   • Als de AUC een vooraf gedefinieerde drempelwaarde ($\tau = 0,8$) overschrijdt, wordt het model geclassificeerd als met een backdoor besmet.

Belangrijkste Bijdragen

1. Ontdekking van Structurele Anomalieën: De auteurs identificeren dat backdoor-injecties in LVLMs duidelijke structurele verstoringen veroorzaken in kruismodale uitlijning, wat zich manifesteert als meetbare verschuivingen in de entropie van visuele aandacht op onschadelijke invoer.
2. Eerste Framework voor Detectie op Modelniveau: EntropyScan wordt gepresenteerd als de eerste methode die specifiek is ontworpen voor detectie van backdoors op modelniveau in LVLMs. Het werkt zonder toegang tot triggers, vergiftigde trainingsdata of actieve interventie tijdens inferentie.
3. Lichtgewicht en Efficiënt: Het framework is zeer efficiënt en vereist alleen forward-inferentie. Het bereikt hoge nauwkeurigheid met een kleine validatiedataset (200 afbeeldingen) en werkt in seconden per modelcheckpoint.

Experimentele Resultaten

De auteurs hebben EntropyScan geëvalueerd op twee LVLM-architecturen (LLaVA-1.5-7B en Otter-3B) in drie geavanceerde aanvalsscenario's: ShadowCast, ImgTrojan en VL-Trojan.

• Detectieprestaties: EntropyScan behaalde een gemiddelde F1-score van 98,5% en een AUC van 96,6% over alle scenario's heen.
  • Het behaalde perfecte detectie (AUC = 1,000) voor VL-Trojan-aanvallen over alle geteste visuele backbones.
  • Het presteerde aanzienlijk beter dan de basismethode Activation Clustering (AC), met name tegen ShadowCast-aanvallen waarbij AC faalde (Recall = 0) terwijl EntropyScan een Recall van 0,9535 behaalde.
• Robuustheid: De methode toonde robuustheid tegen adaptieve aanvallen waarbij adversaries probeerden de visuele entropie te regulariseren om te matchen met onschadelijke verdelingen; dergelijke pogingen degradeerden de aanvalssuccesrate (ASR) aanzienlijk.
• Efficiëntie: De gemiddelde inspectietijd was 4,37 seconden per modelcheckpoint op vier NVIDIA Tesla V100 GPU's.
• Ablatiestudies:
  • Laaggevoeligheid: De initiële laag (Layer-0) werd bevestigd als de optimale detectieproef, waarbij detectiesignalen snel afnamen in diepere lagen.
  • Entropiemaat: Tsallis-entropie ($q=2$) presteerde beter dan Shannon- en Rényi-entropie, met name voor subtiele aanvallen met globale verstoring.
  • Data-efficiëntie: De detectieprestaties bleven stabiel over verschillende validatiedatasetgroottes en verschillende bronnen van schone afbeeldingen (bijvoorbeeld COCO2017 versus Object365).

Betekenis en Claims

Het artikel beweert dat EntropyScan een praktisch paradigma biedt voor de veiligheidsinspectie van third-party LVLM-checkpoints. Door een universeel teken van infectie te identificeren (entropie-afwijking in kruismodale aandacht) in plaats van te vertrouwen op trigger-specifieke artefacten, adresseert de methode de kritieke uitdaging van het detecteren van backdoors in gefinaliseerde modellen waar kennis van triggers niet beschikbaar is. De auteurs benadrukken dat hun aanpak modelniveau-auditing mogelijk maakt zonder de bruikbaarheid van het model te compromitteren of hertraining te vereisen, waardoor toegankelijke veiligheidspraktijken worden bevorderd voor het snel uitbreidende ecosysteem van open-source en third-party LVLMs.