🤖 machine learning

Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B

Semalith v1.4 is een uiterst efficiënte veiligheidsklassificator met 184 miljoen parameters die staat van de kunst bereikt op het gebied van detectie van prompt-injectie en nul fout-positieven op onschuldige agentische prompts met 44 keer minder parameters dan Llama-Guard-3-8B, terwijl het uniek tegelijkertijd detectie van algemene schade en financiële naleving van regelgeving biedt in een enkele inferentiepass.

Oorspronkelijke auteurs: Tejasvi C. Addagada

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tejasvi C. Addagada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende bibliotheek waar miljoenen mensen chatten met een super slimme robot-bibliothecaris. Deze bibliothecaris, een Kunstmatige Intelligentie, kan verhalen schrijven, wiskundige problemen oplossen en vragen beantwoorden over werkelijk alles. Maar zoals elke krachtige tool heeft het ook een schaduwkant: soms proberen sluwe gebruikers de robot te misleiden om zijn eigen regels te breken, geheime informatie te onthullen of gemeen te doen. Dit wordt "prompt injection" genoemd—het is alsof je de bibliothecaris een geheim wachtwoord in het oor fluistert om hem de "Niet Aanraken"-borden te laten negeren.

Om de bibliotheek veilig te houden, hebben we een bewaker nodig. In de wereld van AI zijn deze bewakers speciale programma's genaat "safety classifiers". Hun taak is om elk bericht te lezen voordat de robot het ziet en "STOP!" te roepen als het bericht gevaarlijk is. Echter, de meeste bewakers zijn óf te traag, óf te onhandig, óf te paranoïde. Sommige bewakers zijn zo bang voor problemen dat ze de bibliothecaris verhinderen om bij onschuldige vragen te helpen, zoals het vragen hoe je een wachtwoord reset. Anderen zijn zo gefocust op simpele scheldwoorden dat ze slimme, sluwe trucjes missen. De grote vraag die wetenschappers stellen is: Kunnen we een bewaker bouwen die snel is, slim genoeg om lastige trucjes te herkennen, en zachtmoedig genoeg om onschuldige gesprekken door te laten?

Maak kennis met Semalith v1.4, een nieuwe bewaker die ontworpen is om precies dit probleem op te lossen. Denk aan het als een hooggetrainde, 184 miljoen parameters tellende "detective" (een getal dat de omvang van zijn brein vertegenwoordigt) die veel kleiner en sneller is dan de enorme 8 miljard parameters tellende bewakers die momenteel door grote techbedrijven worden gebruikt. Waar de gigantische bewakers lijken op zware, traag bewegende tanks die door subtiele trucjes in de war kunnen raken, is Semalith een behendige, razendsnelle ninja.

Het artikel onthult dat Semalith v1.4 een meester is in het opsporen van prompt injections—die sluwe pogingen om de AI te misleiden. In tests won het elk enkel een van de 7 benchmarkcategorieën voor prompt-injectie waarop het werd getest, waarbij het de gigantische 8 miljard parameters tellende bewakers met een enorme marge versloeg. Nog indrukwekkender is dat het dit deed met 44 keer minder parameters (hersencellen), wat het ongelooflijk snel maakt. Het kan een bericht controleren in slechts 11,6 milliseconden, wat sneller is dan een knipoog.

Maar Semalith gaat niet alleen over het betrappen van trucjes; het is ook een specialist in de wereld van geld en financiën. Het is getraind om specifieke regels voor banken, leningen en verzekeringen te begrijwoorden (bekend als BFSI-compliance). Hierdoor kan het het verschil zien tussen een onschuldige vraag over een creditcard en een gevaarlijke poging tot fraude. In tegenstelling tot andere bewakers die misschien in paniek raken en alle financiële vragen blokkeren, identificeerde Semalith correct 208 onschuldige bankvragen zonder een enkel vals alarm te geven (een foutpositiefpercentage van 0,000%).

De auteurs zijn echter zeer eerlijk over wat deze bewaker niet kan. Het is geen toverstaf die elk veiligheidsprobleem oplost. Het artikel laat zien dat hoewel Semalith een expert is in het opsporen van sluwe trucjes en financiële regels, het soms moeite heeft met algemene "gemeine" of "toxische" gesprekken vergeleken met de gigantische bewakers. Het is als een bewaker die een wereldklasse expert is in het opsporen van zakkenrollers en vervalsers, maar niet zo goed is in het betrappen van iemand die gewoon onbeleefd is. De onderzoekers leggen uit dat dit een afweging is: door de bewaker zo goed te maken in het opsporen van specifieke, complexe trucjes, werd het iets minder gevoelig voor algemene onbeleefdheid. Bovendien, hoewel het de categorieën voor prompt-injectie domineert, vangt het niet elke variatie perfect op; bijvoorbeeld, op het moeilijkste "stealth"-niveau van een test (Mosscap L8), betrapte het ongeveer 80% van de aanvallen, wat ruimte laat voor verbetering.

Het artikel benadrukt ook dat dit model is gebouwd met behulp van echte gegevens die van het internet zijn verzameld, en niet met nepvoorbeelden gemaakt door andere computers. Dit maakt het betrouwbaarder in de echte wereld. De onderzoekers testten het tegen 22 verschillende uitdagingen en ontdekten dat Semalith 7 van de 7 prompt-injectietests won en 11 van de 18 algemene tests. Ze geven toe dat er zes specifieke zwakke plekken zijn waar de bewaker nog werk aan heeft, zoals het begrijpen van lange, verwarrende verhalen of bepaalde soorten overredingskracht, maar ze hebben precies in kaart gebracht hoe ze dit in toekomstige versies kunnen oplossen.

Kortom, Semalith v1.4 bewijst dat je geen gigantisch, traag brein nodig hebt om een geweldige bewaker te zijn. Met de juiste training en een slim ontwerp kan een kleiner, sneller model het perfecte schild zijn voor AI-systemen, vooral wanneer ze mensen helpen met geld en bankzaken, terwijl ze de goede zaken zonder problemen doorlaten.

Technische Samenvatting: Semalith v1.4

Probleemstelling
Het implementeren van Large Language Models (LLM's) in financiële dienstverlening en agentische omgevingen vereist veiligheidsclassifiers die gelijktijdig drie verschillende assen adresseren: prompt-injectie (PI), algemene schade (general harm) en naleving van regelgeving (specifiek voor de bank-, financiële en verzekeringssector, oftewel BFSI). Bestaande open-source guardrails slagen er niet in om aan deze eisen te voldoen in een enkele inferentie-pass.

Classifiers voor algemene schade: Modellen zoals Llama-Guard-3-8B en Granite-Guardian-3.3-8B blinken uit in detectie van algemene schade, maar falen bij subtiele prompt-injectie-aanvallen (bijv. Llama-Guard-3 bereikt een PINT F1 van ≈0,06).
Classifiers voor prompt-injectie: Modellen zoals PromptGuard-2-86M bereiken een hoge recall op PI-benchmarks, maar lijden onder extreem hoge fout-positief-ratio's (FPR), waarbij 96% van de onschuldige agentische inhoud als schadelijk wordt gemarkeerd.
Domeingap: Geen enkele publieke guardrail biedt BFSI-specifieke labels (bijv. ongeoorloofd advies, witwassen, hypotheekfraude) die vereist zijn voor naleving van regelgeving (SEC, FCA, MiFID II), wat leidt tot een inflatie van de FPR met 15–40 procentpunten wanneer algemene modellen in financiële contexten worden ingezet.

Methodologie
Semalith v1.4 is een 184M-parameter classifier gebouwd op de microsoft/deberta-v3-base encoder. Het is ontworpen om gelijktijdige classificatie op drie assen uit te voeren in een enkele forward pass.

Architectuur: Het model maakt gebruik van een 22-klasse classificatiekop en een 4-klasse hulp-supercategoriekop.
- 22 Klassen: 1 BENIGN-klasse, 9 prompt-injectie subtypen (bijv. System Override, Jailbreak, Agentic Injection), 1 General Harm-klasse en 11 BFSI-regelgevende subtypen (B-01 tot B-11).
- Hulp-kop (Auxiliary Head): De 4-weg supercategoriekop brengt de outputs in kaart naar {BENIGN, D-attack, D8-harm, BFSI}. Deze kop wordt getraind met een gezamenlijk gewogen loss (hyperparameter $\alpha$ ) om het instorten van subklassen binnen de D-attack categorie te voorkomen.
Trainingscorpus: Het model is getraind op een corpus van 76.204 rijen, afkomstig van 49 publieke bronnen.
- Real-World Data: Het corpus bestaat volledig uit real-world data met nul synthetische of getextureerde prompts.
- Contaminatiecontrole: Alle rijen ondergaan SHA-1 en MinHash deduplicatie tegen elke apart gehouden evaluatiebenchmark. 21 van de 22 benchmarks hebben nul contaminatie; de overige één (AgentHarm-benign) heeft 0,22% contaminatie.
- BFSI Verrijking: v1.4 breidt specifell de trainingsdata uit voor drie voorheen dun bezette labels: D1_AUTHORITY_CLAIM, D6_AGENTIC_INJECTION en B-11 (AML/Sancties).
Correctie van Binaire Mapping: Een cruciale methodologische correctie onderscheidt de BFSI subklassen (die onschuldige domeurvragen vertegenwoordigen) van "schadelijke" vlaggen. De binaire "flagged harmful" output wordt alleen afgeleid als de supercategorie "D-attack" of "D8-harm" is, wat voorkomt dat onschuldige financiële queries onterecht als schadelijk worden gemarkeerd.

Belangrijkste Resultaten
Semalith v1.4 werd geëvalueerd tegen Llama-Guard-3-8B en PromptGuard-2-86M over 22 held-out benchmarks.

Prompt-injectie & Adversarial Stealth: Semalith v1.4 wint alle 7 prompt-injectie en adversarial-stealth benchmarks (bijv. HackaPrompt, Gandalf, Mosscap L6-L8, WildJailbreak).
- Recall: Bereikt een bijna maximale recall op structurele PI-benchmarks (bijv. 0,995 op HackaPrompt, 0,970 op Gandalf).
- Vergelijking: Presteert beter dan Llama-Guard-3-8B met marges die meer dan 70 procentpunten bedragen op stealth-benchmarks (bijv. Mosscap L6: 0,894 vs. 0,056).
Fout-positief-ratio (FPR): Op 208 onschuldige agentische prompts (AgentHarm-benign) bereikt Semalith v1.4 een 0,000 FPR (95% CI [0,000, 0,018]), vergeleken met 0,063 voor Llama-Guard-3-8B en 0,96 voor PromptGuard-2-86M.
Efficiëntie:
- Parameters: 184M parameters vs. 8B voor Llama-Guard-3 (44× minder).
- Latentie: 11,6 ms per prompt (batch=1, seq_len=256, fp16, RTX 4090), wat 33× sneller is dan Llama-Guard-3-8B (387,4 ms).
- Doorvoersnelheid: Bij batch=8 verwerkt Semalith 435 prompts/seconde tegenover 4,3 voor Llama-Guard-3.
Trade-offs in Algemene Schade: Het paper erkent dat Semalith v1.4 niet domineert op benchmarks voor algemene schade. Llama-Guard-3-8B leidt op conversatie-moderatie (WildGuardMix F1 0,754 vs. 0,290) en algemene schade-elicatie (HarmBench-Standard). Dit wordt toegeschreven aan complementaire trainingsdoelstellingen; Semalith is geoptimaliseerd voor PI en BFSI-naleving, niet voor algemene toxiciteit.

Zwakheden en Beperkingen
Het paper legt expliciet zes gemeten zwakke punten van v1.4 bloot:

Context-Gegronde PI: Lage recall (0,181) op HarmBench-contextual omdat het model lange onschuldige contexten in hun geheel als onschuldig leest.
Conversatie-Moderatie: Lagere F1 op WildGuardMix (0,290) en ToxicChat (0,538, een regressie ten opzichte van v1.3) door een mismatch in het BENIGN-register.
BeaverTails FPR: Een hogere FPR (0,446) vergeleken met v1.3, een trade-off van de expansie van de attack-klassen in v1.3.
Persuasie/Engineering: Lagere recall (0,885) op HEx-PHI persuasie-categorieën vergeleken met Llama-Guard-3 (0,970).
WMDP Flag-Rate: Een toename in het flaggen van biosecurity/chemie educatieve content (0,463 voor bio, 0,360 voor chem) door vocabulaire-overlap met BFSI fraude/AML trainingsdata.
Taalomvang: Het model is Engelstalig; meertalige robuustheid is niet gemeten.

Betekenis en Claims
Het paper claimt dat Semalith v1.4 een state-of-the-art oplossing vormt voor detectie van prompt-injectie tegen een fractie van de parameterkosten van bestaande 8B guardrails. De primaire betekenis ligt in:

Gelijktijdige Multi-As Naleving: Het is de eerste open guardrail die prompt-injectie, algemene schade en BFSI-regelgevende naleving in een enkele inferentie-pass afhandelt.
Nul Fout-Positieven op Agentische Prompts: Het bereikt een 0,000 FPR op een grote set onschuldige agentische prompts, een cruciale vereiste voor productie-waardige agentische systemen waar fout-positieven de workflow verstoren.
BFSI Naleving: Het biedt de eerste publieke, fijnmazige taxonomie voor financiële regelgevende naleving (dekking van bankwezen, leningen, verzekeringen, AML, etc.), waarmee een specifieke kloof in de veiligheid van financiële AI wordt gedicht.
Reproduceerbaarheid: De auteurs bieden een volledige evaluatie-harness, 22 held-out JSONL-bestanden en gedetailleerde contaminatie-audits, wat onafhankelijke verificatie van alle gerapporteerde metrieken mogelijk maakt.

De auteurs positioneren v1.4 als een gespecialiseerde tool voor BFSI en agentische veiligheid, waarbij ze v1.3 aanbevelen voor algemene conversatie-moderatie waar de ToxicChat F1 de prioriteit heeft, en v1.4 voor scenario's die een nul FPR op agentische prompts of BFSI-labeldekking vereisen.

Technische Samenvatting: Semalith v1.4

Meer zoals dit