Technische Samenvatting: META SECALIGN

Probleemstelling

Prompt injection (PI) aanvallen vormen de grootste beveiligingsdreiging voor Large Language Model (LLM)-geïntegreerde applicaties. Bij deze aanvallen bevatten onbetrouwbare gegevens uit de omgeving geïnjecteerde instructies die het LLM manipuleren om vertrouwde systeem- of gebruikersprompts te overrulen. Dit kan leiden tot ernstige gevolgen zoals datalekken, beveiligingsschendingen en de uitvoering van malware.

Hoewel defensies op modelniveau (het trainen van het LLM om vertrouwde instructies prioriteit te geven boven onbetrouwbare gegevens) effectiever zijn gebleken dan defensies op systeemniveau, zijn de sterkste bestaande defensies propriëtair (bijv. in GPT-5 of Gemini-3-Pro). Het gebrek aan volledig open-source, commercieel bruikbare veilige modellen belemmert de gezamenlijke ontwikkeling van aanvallen en defensies, wat essentieel is voor wetenschappelijke vooruitgang in AI-beveiliging. Bovendien leden eerdere open-source pogingen (bijv. de originele SecAlign) vaak aan significante degradatie van de bruikbaarheid (utility) of faalden ze bij het generaliseren naar complexe agentische workflows.

Methodologie: SecAlign++

De auteurs introduceren META SECALIGN, een volledig open-source LLM getraind met een nieuw recept genaamd Secalign++. Dit recept is een evolutie van de state-of-the-art (SoTA) SecAlign defensie, ontworpen om commerciële bruikbaarheid te bereiken terwijl een robuuste beveiliging behouden blijft.

Kernarchitectuur

De methode rust op een specifieke aanpassing van de chattemplate om vertrouwde instructies te scheiden van onbetrouwbare gegevens:

1. Nieuw Berichttype: Een toegewezen input berichtrol wordt toegevoegd aan de chattemplate (naast system, user en assistant) om onbetrouwbare gegevens te inkapselen.
2. Handhaving van Delimiters: Speciale delimiters (bijv. <|eot_id|>, <|start_header_id|>) worden gebruikt om deze rollen te scheiden. Het model filtert onbetrouwbare gegevens recursief om ervoor te zorgen dat er geen speciale delimiters binnen de gegevens zelf bestaan, wat voorkomt dat aanvallers de scheiding kunnen "ontsnappen".

Trainingsinnovaties

SecAlign++ introduceert twee belangrijke technische nieuwheid aan het originele SecAlign framework om de tekortkomingen ervan aan te pakken:

1. Gerandomiseerde Injectiepositie:

   • Probleem: De originele SecAlign leerde vaak een "shortcut" waarbij het model alleen de laatste zin van de input negeerde als deze leek op een instructie. Dit zorgde ervoor dat het model legitieme gebruikersinstructies negeerde als deze aan het einde van de data verschenen.
   • Oplossing: Tijdens de training worden gesimuleerde injecties gerandomiseerd. In 45% van de gevallen wordt de injectie aan het einde van de data geplaatst; in een ander 45% wordt de injectie aan het begin geplaatst; en in 10% wordt een "completion attack" (die een gespreksturn simuleert) gebruikt. Dit dwingt het model om specifiek de input berichtrol te identificeren, in plaats van te vertrouen op positionele shortcuts.

2. Zelfgegenereerde Responsies:

   • Probleem: De originele SecAlign gebruikte een verouderd annotatiemodel (TEXT_DAVINCI_003) om "wenselijke" (benigne) en "onwenselijke" (geïnjecteerde) responsies te genereren. Deze responsies waren vaak van lage kwaliteit en buiten de distributie (out-of-distribution) ten opzichte van het model dat werd gefinetuned, wat leidde tot slechte bruikbaarheid en beveiliging.
   • Oplossing: Het initialisatiemodel (het onverdedigde LLM, bijv. LLAMA-3.3-70B-INSTRUCT) wordt gebruikt als de respons-annotator. Dit zorgt ervoor dat de trainingslabels in-distribution en van hoge kwaliteit zijn, passend bij de capaciteiten van het model dat wordt beveiligd.

Optimalisatie

De modellen worden gefinetuned met behulp van Direct Preference Optimization (DPO) op een geconstrueerde voorkeursdataset. De dataset bestaat uit:

• Input ($x$): Een prompt met benigne data en een gesimuleerde injectie.
• Wenselijke Respons ($y_w$): De output van het initialisatiemodel gegeven de benigne prompt en data, waarbij de injectie wordt genegeerd.
• Onwenselijke Respons ($y_l$): De output van het initialisatiemodel gegeven enkel de injectie.

Belangrijkste Bijdragen

1. META SECALIGN Modellen: De release van META-SECALIGN-8B en META-SECALIGN-70B, de eerste volledig open-source, commercieel bruikbare LLM's met ingebouwde model-niveau prompt injection defensies die in staat zijn complexe agentische taken aan te kunnen.
2. SecAlign++ Recept: Een nieuw trainingsrecept dat de SoTA SecAlign verbetert door het introduceren van gerandomiseerde injectieposities en zelfgegenereerde responsies, wat zowel de bruikbaarheid als de beveiliging aanzienlijk verhoogt.
3. Uitgebreide Evaluatie: De meest uitgebreide evaluatie van prompt injection defensies tot nu toe, die 9 bruikbaarheidsbenchmarks (algemene kennis, instructieopvolging, agentische workflows) en 7 beveiligingsbenchmarks beslaat.
4. Generalisatie: Demonstratie dat de geleerde beveiliging generaliseert naar ongeziene downstream taken, inclusief tool-calling en webnavigatie, zonder dat daar taakspecifieke training voor nodig is.

Resultaten

Bruikbaarheid vs. Beveiliging Trade-off

• Commercieel Bruikbare Bruikbaarheid: META-SECALIGN-70B bereikt bruikbaarheidsscores die vergelijkbaar zijn met, en in sommige gevallen de scores overtreffen van, gesloten commerciële modellen (bijv. GPT-4o-Mini) op algemene kennis en instructieopvolging benchmarks. Opvallend genoeg vertoont het een minimale daling in bruikbaarheid vergeleken met zijn onverdedigde tegenhanger (LLAMA-3.3-70B-INSTRUCT).
• State-of-the-Art Beveiliging:
  • Instructieopvolging: Behaalt een Attack Success Rate (ASR) van 6,4% op de SEP benchmark, waarmee het verschillende gesloten modellen verslaat.
  • Agentische Workflows: Demonstreert uitzonderlijke robuustheid in tool-calling (AgentDojo: 1,9% ASR) en webnavigatie (WASP: 0% End-to-End ASR).
  • Vergelijking: META-SECALIGN-70B is beveiligder dan verschillende vlaggenschip propriëtaire modellen (inclusclusief GPT-4o en Gemini-2.5-Flash) en is vergelijkbaar met GPT-5 in zowel bruikbaarheid als beveiliging voor agentische taken.

Robuustheid tegen Adaptieve Aanvallen

Het paper evalueert de modellen tegen adaptieve aanvallen, inclusief die gebruikmaken van valse delimiters (gebaseerd op embedding afstand) en Greedy Coordinate Gradient (GCG) aanvallen. SecAlign++ presteert aanzienlijk beter dan de originele SecAlign in deze scenario's, waarbij een lage ASR behouden blijft, zelfs wanneer aanvallers proberen de delimiter-scheiding te omzeilen.

Model Schaling en Flexibiliteit

• Schaling: Sterkere LLM's (bijv. LLAMA-3.3-70B) blijken kwetsbaarder voor PI-aanvallen wanneer ze onverdedigd zijn vergeleken met kleinere modellen (LLAMA-3.1-8B). Echter, SecAlign++ slaagt erin modellen over verschillende schalen (4B, 8B, 70B, en 109B MoE) te beveiligen met verwaarloosbaar verlies in bruikbaarheid.
• Controle over de Trade-off: De auteurs demonstreren dat de bruikbaarheid-beveiliging trade-off flexibel kan worden gecontroleerd tijdens de inferentie door de LoRA $\alpha$ parameter af te stemmen, waardoor gebruikers kunnen interpoleren tussen de beveiliging van het gefinetunede model en de bruikbaarheid van het basismodel zonder opnieuw te trainen.

Betekenis en Claims

Het paper claimt dat META SECALIGN een nieuwe grens stelt voor de bruikbaarheid-beveiliging trade-off in open-source LLM's. Door een volledig open, commercieel bruikbaar fundamenteel model te bieden, maakt het de AI-beveiligingsgemeenschap in staat om transparant onderzoek te doen, wat de gezamenlijke ontwikkeling van aanvallen en defensies bevordert.

De auteurs benadrukken dat hun werk de kloof overbrugt tussen academisch onderzoek (vaak beperkt tot toy 8B modellen) en industriële implementatie (gesloten-source API's). Zij stellen dat SecAlign++ het eerste recept is dat SoTA beveiliging tegen prompt injections bereikt zonder de aanzienlijke degradatie van bruikbaarheid die eerder werd waargenomen bij open-source defensies. De release van de modellen, code en trainingsrecepten is bedoeld om toekomstig onderzoek naar het mitigeren van prompt injection dreigingen in LLM-geïntegreerde applicaties te versnellen.