Divergence-based Safety Measure for Large Language Models via Rational Inattention

Technische Samenvatting: Divergentie-gebaseerde veiligheidsmaatstaf voor Large Language Models via Rationele Onoplettendheid

Probleemstelling
De integratie van Large Language Models (LLM's) in besluitvormingspipelines introduceert systeembrede veiligheidsrisico's, met name wat betreft kwaadaardige perturbaties van inputtokens die modeloutputs veranderen en menselijke beslissingen in de downstream-keten beïnvloeden. Vanuit een systeem- en regeltechnisch perspectief wordt gevraagd om kwantitatieve veiligheidsmaten om modelvergelijking, runtime-monitoring en parameterfine-tuning te ondersteunen, maar er is beperkte vooruitgang geboekt in het ontwikkelen van dergelijke maten voor LLM's. Specifiek is er behoefte aan een metriek die de worst-case output-perturbatie kwantificeert die wordt veroorzaakt door input-aanvallen, terwijl deze aanvallen onopvallend blijven voor interne monitoringsmechanismen.

Methodologie
Het artikel stelt een divergentie-gebaseerde veiligheidsmaatstaf voor die de worst-case Kullback–Leibler (KL) divergentie kwantificeert tussen de outputdistributies van een schone LLM en een LLM die onderhevig is aan embedding-input-aanvallen. De kern van de methodologische innovatie ligt in het construeren van een "onopvallendheidsrestrictie" door gebruik te maken van de equivalentie tussen transformer-attentionmechanismen en Rational Inattention (RI) modellen van menselijke besluitvorming.

1. Rational Inattention (RI) Framework: De auteurs herzien het RI-framework, waarbij agenten een afweging maken tussen verwachte nut en de informatiekosten van gegevensverwerking. Het optimale actiebeleid in RI wordt gekenmerkt door een softmax-functie afgeleid van een optimalisatieprobleem dat verband houdt met Shannon-informatie.
2. Structurele Verbinding: Het artikel stelt vast dat de attentiongewichten in transformer-gebaseerde LLM's (berekend via een geschaalde dot-product softmax) dezelfde functionele vorm hebben als het optimale actiebeleid in het RI-framework. Dit maakt de interpretatie van transformer-attention als een oplossing voor een RI-type optimalisatieprobleem mogelijk, waarbij het model een beperkte informatieverwerkingscapaciteit toewijst aan context-tokens.
3. Maatstaf voor Begrensde Rationaliteit: Op basis van deze verbinding definiëren de auteurs een per head werkende "begrensde rationaliteitsmaatstaf" ($\Delta V^{(m)}(\tau)$). Deze metriek vertegenwoordigt het verschil tussen de $\tau$-gebonden rationaliteitswaarde (de optimale waarde van het attention-optimalisatieprobleem met een temperatuurparameter $\tau$) en de volledige rationaliteitswaarde (de limiet wanneer $\tau \to 0$). Deze maatstaf dient als een interne monitoringoutput die het "rationaliteitsniveau" van de attention-allocatie van de LLM aangeeft.
4. Formulering van de Veiligheidsmaatstaf: De voorgestelde veiligheidsmaatstaf wordt geformuleerd als een optimalisatieprobleem: het maximaliseren van de KL-divergentie tussen de schone en de aangevallen outputdistributies, onder twee restricties:
   • Energie-restrictie: De totale energie van de in de embedding-tokens geïnjecteerde aanvals-signalen is begrensd ($\sum \|\zeta_i\|^2 \leq \rho$).
   • Onopvallendheidsrestrictie: De gewogen som van de begrensde rationaliteitsmaten over alle attention-heads moet onder een gespecificeerde betrouwbaarheids-tolerantie ($\epsilon_T$) blijven. Dit zorgt ervoor dat de aanval het interne monitoring-signaal op basis van attention niet significant verandert.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire bijdragen:

1. Structurele Correspondentie: Het demonstreert dat transformer-attentiongewichten de unieke oplossing zijn voor een RI-type optimalisatieprobleem, waarmee een formele link wordt gelegd tussen LLM-mechanismen en modellen van begrensde rationele besluitvorming.
2. Per Head Werkende Begrensde Rationaliteitsmaatstaf: Het introduceert een nieuwe metriek afgeleid van het RI-framework om de rationaliteit van attention-allocaties in LLM's te kwantificeren.
3. Divergentie-gebaseerde Veiligheidsmaatstaf: Het gebruikt de begrensde rationaliteitsmaatstaf als een monitoringoutput om een veiligheidsmetriek te definiëren die de worst-case stealthy output-verschuiving kwantificeert. Het artikel analyseert ook "perfect ondetecteerbare aanvallen" (aanvallen die de monitoringoutput niet veranderen) en leidt een bovengrens af voor de veiligheidsmaatstaf met behulp van een Bregman-divergentie-argument, uitgaande van een Lipschitz-continue output score map.

Experimentele Resultaten
De voorgestelde maatstaf werd geëvalueerd op twee pre-trained causale taalmodellen: GPT-2 en GPT-Neo-125M.

• Opzet: Een gecontroleerde kandidaat-predictie taak werd gebruikt waarbij ambigue zinnen een voorspelling van de volgende token (een bijvoeglijk naamwoord) vereisten uit een beperkte pool. Aanvallen werden gegenereerd met behulp van projected gradient ascent om de KL-divergentie van de outputdistributie te maximaliseren, terwijl voldaan werd aan de energie- en onopvallendheidsrestricties.
• Bevindingen: De experimenten toonden verschillende veiligheidsprofielen voor de twee modellen. GPT-2 vertoonde verschillende high-divergence aanvallen die binnen de onopvallende regio bleven (voldeden aan de betrouwbaarheidstolerantie), terwijl high-impact aanvallen op GPT-Neo-125M over het algemeen grotere monitoring-residuals veroorzaakten. Dit demonstreert dat de voorgestelde maatstaf effectief kan differentiëren tussen model-specifieke veiligheidsprofielen onder identieke aanvalsbudgetten en betrouwbaarheidstoleranties.

Betekenis en Claims
Het artikel claimt dat dit werk een gat opvult in de ontwikkeling van kwantitatieve veiligheidsmaten voor LLM's vanuit een systeem- en regeltechnisch perspectief. Door transformer-attention te interpreteren via de lens van rationele onoplettendheid, bieden de auteurs een principieel mechanisme voor het construeren van interne monitoringoutputs. De voorgestelde divergentie-gebaseerde veiligheidsmaatstaf biedt een manier om de kwetsbaarheid van LLM's voor stealthy embedding-input-aanvallen te kwantificeren. De auteurs positioneren deze bijdrage als een stap naar het uitrusten van LLM's met interpreteerbare prestatie-maten die analoog zijn aan robuustheid, veerkracht en veiligheidsmaten die in traditionele controlesystemen worden gevonden. Het werk claimt niet alle LLM-beveiligingsproblemen op te lossen, maar biedt een specifieke metriek om model-veiligheidsprofielen te onderscheiden en worst-case stealthy impacts te analyseren.