Technische Samenvatting: COLAGUARD – Robuuste en Efficiënte Veiligheidsbarrières met Latente Redenering

1. Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet in real-world toepassingen, is het waarborgen van hun uitlijning met menselijke waarden van cruciaal belang. Hoewel er methoden voor uitlijntraining bestaan, zoals RLHF, zijn deze kostbaar om na de implementatie bij te werken. Bijgevolg zijn externe veiligheidsbarrières (guardrails) een praktisch alternatief geworden voor het modereren van invoer en uitvoer.

Bestaande veiligheidsbarrières staan voor een fundamentele afweging tussen robuustheid en efficiëntie:

• Op classificatie gebaseerde veiligheidsbarrières (bijv. Llama Guard) zijn efficiënt, maar vaak breekbaar bij ambiguïteit, adversariale aanvallen of veiligheidsbeslissingen die afhankelijk zijn van de context.
• Veiligheidsbarrières met expliciete redenering (bijv. GuardReasoner, ThinkGuard) verbeteren de robuustheid door het genereren van tussenliggende Chain-of-Thought (CoT)-redeneringen voordat een veiligheidslabel wordt voorspeld. Dit verbaal maakingsproces leidt echter tot aanzienlijke query-latentie en token-overhead, waardoor ze onpraktisch zijn voor implementaties met hoge doorvoer en real-time eisen.

De centrale onderzoeksvraag is: Kunnen veiligheidsbarrières de robuustheidsvoordelen van redeneringssupervisie behouden zonder expliciete redeneertokens te genereren tijdens de inferentie?

2. Methodologie: COLAGUARD

De auteurs stellen COLAGUARD voor, een veiligheidsbarrière met latente redenering die expliciete veiligheidsredeneringen internaliseert in continue recurrente toestanden. Het kader maakt gebruik van een stage-gewijs trainingscurriculum om redenering te verschuiven van autoregressieve token-generatie naar propagatie van verborgen toestanden.

2.1 Kernarchitectuur

COLAGUARD werkt door tijdens training en inferentie te schakelen tussen twee modi:

1. Taalmodus: Het model consumeert standaard token-embeddings en voorspelt de volgende token autoregressief.
2. Latente modus: Het model consumeert geen standaard token-embedding; in plaats daarvan wordt de vorige verborgen toestand teruggevoerd als de volgende inputrepresentatie. Dit stelt het model in staat om recurrente berekeningen uit te voeren in een continue latente ruimte in plaats van tussenliggende redeneertokens te genereren.

2.2 Context-Prediction Fusion (CPF)

Een belangrijke uitdaging bij latente redenering is de distributiemismatch: voorgeöorde LLM's zijn geoptimaliseerd voor token-embeddings, niet voor recirculatie van contextuele verborgen toestanden. Om dit aan te pakken, hanteert COLAGUARD Context-Prediction Fusion (geïnspireerd door Liu et al., 2026).

• Op elke latente positie berekent het model een voorspellende embedding vanuit de next-token-distributie die wordt geïnduceerd door de vorige verborgen toestand.
• De recurrente input wordt geconstrueerd door de contextuele verborgen toestand ($h_{t-1}$) te fuseren met deze voorspellende embedding ($e_{pred}$):
  $$\tilde{e}_t = \alpha h_{t-1} + (1 - \alpha) e_{pred}(h_{t-1})$$
• Een lichtgewicht projectiemodule mapt deze gefuseerde representatie terug naar de modelinputruimte. Dit stabiliseert de latente recurrentie terwijl de semantische verankering van de vocabulaire-embeddingsruimte behouden blijft.

2.3 Stage-gewijs Internalisatiecurriculum

Het trainingsproces volgt een progressief curriculum om redenering te internaliseren:

1. Fase 0 (Expliciete Warm-up): Het model wordt getraind als een expliciete redenerende veiligheidsbarrière, waarbij gestructureerde veiligheidsredeneringen worden gegenereerd gevolgd door definitieve labels. Dit vestigt een robuuste redeneerbasislijn.
2. Progressieve Vervanging: In volgende fasen worden natuurlijke taal-redeneerstappen progressief vervangen door recurrente latente posities. Voor een redenering met $m$ stappen worden de eerste $k$ stappen vervangen door $\ell_k$ latente posities.
3. Definitieve Compressie: Een laatste fase verwijdert alle resterende expliciete redeneertokens, waarbij het latente span wordt vastgezet op een specifiek budget (bijv. 6 stappen), terwijl de instructie, prompt en respons behouden blijven.

Tijdens inferentie ontvangt COLAGUARD alleen de instructie, prompt en respons, voegt een vast latente span toe, voert recurrente latente berekeningen uit en voorspelt vervolgens autoregressief de definitieve veiligheidslabels. Er worden geen CoT-tokens gegenereerd.

3. Belangrijkste Bijdragen

1. COLAGUARD-kader: Introductie van een veiligheidsbarrière met latente redenering die expliciete veiligheidsredeneringen internaliseert via een stage-gewijs curriculum, waardoor moderatie mogelijk is zonder autoregressieve redeneringgeneratie tijdens inferentie.
2. Afweging Efficiëntie-Robuustheid: Aantonen dat COLAGUARD de robuustheid van expliciete redenerende veiligheidsbarrières behoudt terwijl de inferentiekosten aanzienlijk worden verlaagd, wat bewijst dat redeneringsgebaseerde moderatie praktisch kan zijn zonder verbaal gemaakte redeneringen.
3. Analyse van Latente Recurrentie: Analyse die aantoont dat COLAGUARD verbetert ten opzichte van vanilla Coconut (een basislijn voor latente redenering) door progressieve, veiligheidsrelevante representatieverschuivingen over latente stappen te vertonen, in plaats van in vaste placeholders te instorten.

4. Experimentele Resultaten

Het model werd geëvalueerd op tien prompt- en respons-moderatie-instellingen die acht veiligheidsbenchmarks bestrijken (waaronder ToxicChat, HarmBench, WildGuardTest en SafeRLHF).

4.1 Prestaties (Veiligheidsrobuustheid)

• Vergelijking met Expliciete Redenering: COLAGUARD (8B) komt overeen met de prestaties van zijn basislijn voor expliciete redenering, GuardReasoner (8B), in macro-F1-scores (Prompt: 84,23 vs. 84,40; Respons: 83,33 vs. 83,13).
• Vergelijking met Classificatie: COLAGUARD verbetert de macro-F1 met 8,24 punten ten opzichte van Llama Guard 3 (8B), wat aantoont dat latente redenering aanzienlijk beter presteert dan alleen op classificatie gebaseerde basislijnen.
• Modelschaling: De 3B-versie van COLAGUARD is concurrerend met GuardReasoner 3B, terwijl de 8B-versie consistentere winsten oplevert, met name bij responsdetectie.

4.2 Efficiëntie

• Latentie: COLAGUARD bereikt een 12,9× versnelling in inferentietijd ten opzichte van GuardReasoner (342,0 ms vs. 4.407,8 ms per query voor het 8B-model).
• Tokengebruik: Het reduceert het tokengebruik met 22,4× (12,9 tokens vs. 289,4 tokens per query).
• Efficiëntie-gecorrigeerde F1 (EA-F1): COLAGUARD bereikt aanzienlijk hogere EA-F1-scores (2,36 voor 8B vs. 0,18 voor GuardReasoner), wat wijst op een superieure afweging tussen nauwkeurigheid en efficiëntie voor implementatie.

4.3 Ablatiestudies

• Latente Dynamiek: Geometrische analyse (UMAP en cosinusgelijkheid) onthult dat COLAGUARD, in tegenstelling tot vanilla Coconut dat vroeg vastloopt in vaste latente toestanden, progressieve klassendifferentiatie vertoont over recurrentiestappen. Dit suggereert dat de latente stappen actief veiligheidsrelevante representaties verfijnen.
• Context-Prediction Fusion: Het verwijderen van CPF (terugkeren naar vanilla Coconut) resulteert in een daling van ongeveer 1,96 macro-F1-punten, wat de noodzaak bevestigt van het fusiemechanisme om representatief instorten te voorkomen.
• Dataschaling: De prestaties schalen betrouwbaar met de grootte van de trainingsdata, waarbij het corpus GuardReasonerTrain met 127k voorbeelden de beste resultaten oplevert.

5. Betekenis en Claims

Het artikel claimt dat latente redenering een praktisch alternatief biedt voor expliciete redeneringgeneratie voor implementeerbare veiligheidsbarrières. Door redenering te internaliseren in verborgen toestanden, verbetert COLAGUARD zowel de veiligheidsrobuustheid als de inferentie-efficiëntie, en behandelt deze als complementaire in plaats van concurrerende doelen.

De auteurs benadrukken dat COLAGUARD, hoewel robuust en efficiënt, geen vervanging is voor menselijk toezicht. Het is ontworpen als onderdeel van een breder moderatiesysteem, met name voor omgevingen met hoog verkeer en real-time eisen waar de latentie van expliciete CoT-generatie onaanvaardbaar is. Het werk suggereert dat het "redeneervermogen" van veiligheidsmodellen effectief kan worden gecomprimeerd in continue latente ruimtes zonder in te leveren op de kwaliteit van de veiligheidsbeslissing.