🤖 machine learning

Explainability Methods for Hardware Trojan Detection: A Systematic Comparison

Dit artikel vergelijkt systematisch drie categorieën van uitlegbaarheidsmethoden — domeinbewuste eigenschapsanalyse, model-agnostische casusgebaseerde redenering en model-agnostische kenmerktoeschrijvings-technieken — op de Trust-Hub benchmark om te bepalen welke aanpak het beste bruikbare inzichten biedt voor het verminderen van fout-positieven en fout-negatieven bij de detectie van hardware Trojans op gate-niveau.

Oorspronkelijke auteurs: Paul Whitten, Francis Wolff, Chris Papachristou

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paul Whitten, Francis Wolff, Chris Papachristou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een microchip met een miljard transistors voor als een enorme, bruisende stad die volledig is gebouwd uit logische poorten. De meeste gebouwen zijn eerlijke burgers die hun werk doen, maar een sluwe saboteur (een "Hardware Trojan") heeft stiekem een klein, verborgen luik in een van de gebouwen geconstrueerd. Dit luik blijft vergrendeld totdat een zeer specifieke, zeldzame combinatie van gebeurtenissen plaatsvindt — zoals een specifieke reeks auto's die op exact hetzelfde moment een bepaalde kruising passeren — dan gaat het open om geheimen te stelen of de stad te laten crashen.

Het probleem? Je kunt deze vallen niet simpelweg patchen met een software-update. Zodra de chip is gemaakt, is het luik voor altijd in het silicium ingebakken. Als je het mist, moet je het hele product terugroepen, wat een fortuin kost. Daarom moeten ingenieurs een manier vinden om deze vallen te vinden voordat de chips worden gebouwd.

Hier komen de onderzoekers van Case Western Reserve University om de hoek kijken. Ze probeerden Kunstmatige Intelligentie (AI) te gebruiken om als een detective te fungeren, die de blauwdrukken van deze steden scant om de verdachte gebouwen op te sporen. Maar hier is de crux: de AI is een "black box". Het kan naar een gebouw wijzen en zeggen: "Dit gebouw is voor 73% waarschijnlijk een val," maar het kan niet uitleggen waarom. Voor een menselijke ingenieur is een getal als "73%" nutteloos. Ze moeten weten wat er aan het gebouw verdacht is, zodat ze het kunnen controleren.

Het team stelde een grote vraag: Welk soort "uitleg" helpt een menselijke ingenieur daadwerkelijk?

Ze testten drie verschillende manieren om het detectivewerk van de AI uit te leggen:

1. De "Domeinexpert" (De eigenschappengebaseerde methode)

Deze benadering is als het inhuren van een detective die de taal van de stad spreekt. In plaats van alleen een score te geven, kijkt deze methode naar 31 specifieke "stadsregels". Het zou bijvoorbeeld kunnen zeggen: "Dit gebouw heeft een vreemd complexe ingang (hoge fanin) direct naast de hoofduitgang (primaire output). Dat komt overeen met het patroon van een zeldzame gebeurtenis-val."

Het resultaat: Deze methode is geweldig in het spreken van de taal van de ingenieur. Het gebruikt concepten die zij al kennen. Echter, toen de onderzoekers deze methode probeerden te gebruiken om de vallen te vangen, was het een beetje onhandig. Het vond bijna alle vallen (8qu 8,9% recall), maar markeerde zoveel onschuldige gebouwen als verdacht dat de precisie slechts 1,7% was. Het was als een detective die "Dief!" schreeuwt elke keer als iemand in de buurt van een deur loopt — te veel vals alarm om op zichzelf nuttig te zijn.

2. Het "Dossier" (De k-Nearest Neighbors methode)

Deze benadering is als een detective die zegt: "Ik hoef de theorie niet uit te leggen; kijk gewoon naar het bewijs." Het zoekt de 5 meest vergelijkbare gebouwen uit de trainingsbestanden en zegt: "Dit gebouw lijkt precies op deze 4 andere gebouwen die we weten dat vallen waren."

Het resultaat: Dit was een groot succes. De beslissing van de AI kwam in 96,51% van de gevallen overeen met de "dossiers". Het gaf ingenieurs een concreet, visueel motief om de waarschuwing te vertrouwen: "Kijk, dit komt overeen met de bekende boeven."

3. De "Wiskundige Scorekaart" (LIME, SHAP en Gradient)

Dit zijn de populaire, algemene AI-uitlegmethoden die in veel velden worden gebruikt (zoals beeldherkenning). Ze werken als een scorekaart die een getal toekent aan elke feature. Bijvoorbeeld: "De afstand tot de dichtstbijzijnde flip-flop droeg +0,05 bij aan de verdenkingsscore."

Het result resultaat: Het artikel concludeerde dat hoewel deze methoden wiskundig rigoureus zijn, ze niet erg nuttig zijn voor hardware-ingenieurs. Ze gaven generieke scores die een gebrek aan "circuit-context" hadden die nodig is om het probleem daadwerkelijk op te lossen.
- Het overeenkomstprobleem: Wanneer de onderzoekers de scores van deze verschillende wiskundige methoden vergeleken, kwamen ze niet goed overeen. De correlatie was slechts ongeveer 0,30 (op een schaal waarbij 1,0 perfecte overeenstemming is). Het is alsof drie verschillende weer-apps net iets andere regenkansen geven; ze zijn wel gerelateerd, maar ze vertellen niet hetzelfde verhaal.
- De Snelheidsval: Een van deze methoden (Gradient) was super snel (0,16 milliseconden per gate), terwijl een andere (SHAP) langzamer was (1,10 milliseconden). Maar het artikel betoogt dat snelheid er niet toe doet als de uitleg nutteloos is. Snel zijn in het geven van een generieke score helpt je niet om de val te vinden.

De Grote Winnaar: Een Betere Detective

De onderzoekers testten ook een nieuw type AI-classifier genaamd XGBoost (een "gradient-boosted" boom). Denk aan dit als het upgraden van het vergrootglas van de detective.

De oude manier (SVM): De voorheen standaardmethode was als een detective die 70% van de vallen vond, maar 35 onschuldige gebouwen markeerde voor elke 1.000 gecontroleerde gates. Dat is veel verspilde tijd!
De nieuwe manier (XGBoost): De nieuwe methode vond 69,44% van de vallen (ongeveer evenveel), maar markeerde slechts 4,74 onschuldige gebouwen per 1.000 gates. Dat is een 7,4-voudige reductie in vals alarm! Het verbeterde ook de "precisie" (hoeveel gemarkeerde gebouwen daadwerkelijk schuldig waren) van 11,33% naar 48,08%.

Wat dit voor u betekent

Het artikel concludeert dat voor hardwarebeveiliging generieke wiskundige scores niet genoeg zijn. U heeft uitleg nodig die zin maakt in de echte wereld van circuits.

Case-based reasoning (het tonen van vergelijkbare eerdere gevallen) werkte uitstekend omdat het ingenieurs een precedent gaf om te vertrouwen.
Domeinbewuste analyse (het gebruik van circuit-specifieke regels) is geweldig voor het begrijpen van het waarom, maar het moet gekoppeld worden aan een sterke detector zoals XGBoost om te veel vals alarm te voorkomen.
Generieke feature scores (zoals LIME en SHAP) zijn wiskundig interessant, maar ze bieden niet de "bruikbare inzichten" die ingenieurs nodig hebben om de chip daadwerkelijk te repareren.

De auteurs merken voorzichtig op dat deze resultaten gebaseerd zijn op de Trust-Hub benchmark, die synthetische (door de mens gemaakte) vallen in digitale circuits gebruikt. Ze hebben dit nog niet getest op echte, complexe analoge chips of sequentiële vallen, dus hoewel de methode veelbelovend lijkt, is het nog steeds een werk in uitvoering voor de echte wereld. Maar voor nu hebben ze aangetoond dat als je een hardware Trojan wilt vinden, je een detective nodig hebt die de taal van het circuit spreekt, en niet alleen een rekenmachine die getallen uitspuugt.

Technische Samenvatting: Verklaringmethoden voor de detectie van Hardware Trojans

Probleemstelling
Hardware Trojans zijn kwaadaardige circuits die tijdens het ontwerp of de fabricage van geïntegreerde schakelingen (IC's) worden ingebed. In tegenstelling tot softwarekwetsbaarheden zijn ze permanent in silicium aanwezig en kunnen ze niet worden gepatcht, wat vroege detectie tijdens de ontwerpfase noodzakelijk maakt. Hoewel machine learning (ML)-modellen verdachte poorten in gate-level netlijsten kunnen signaleren, leiden hun "black-box"-aard vaak tot statistisch gebaseerde oplossingen met een hoog aantal vals-positieven. Security engineers hebben actiegerichte verklaringen nodig die geworteld zijn in circuitontwerpprincipes om waarschuwingen te valideren en remediatie te plannen. Huidige explainable AI (XAI)-methoden, ontwikkeld voor algemene domeinen zoals beeldclassificatie, bieden vaak generieke scores voor kenmerkbelangrijkheid die de specifieke circuit-context missen die vereist is door hardware-praktici. Dit werk adresseert dit gat door domain-aware (domeinbewuste) verklaarbaarheid te vergelijken met model-agnostische technieken voor hardwarebeveiligingstoepassingen.

Methodologie
De studie maakt gebruik van de Trust-Hub benchmark dataset, bestaande uit 30 digitale combinatorische circuits (RS232-peripherals en ISCAS benchmarks) met gelabelde gate-level trojan-inserties. De dataset vertoont een extreme klassenonbalans (ongeveer 158 benigne gates tegenover 1 trojan gate).

De methodologie evalueert vijf verklarende benaderingen over drie categorieën, die allemaal gebruikmaken van dezelfde vijf structurele kenmerken afgeleid van Hasegawa et al.: Logic Gate Fanins (LGFi), Flip-Flop Input (FFi), Flip-Flop Output (FFo), Primary Input (PI) en Primary Output (PO).

Domain-Aware Property Analysis (Methode 1): Deze benadering construeert een ensemble van 31 XGBoost-classifiers, elk getraind op een afzonderlijke niet-lege subset van de vijf kenmerken. Verklaringen worden gegenereerd door te identificeren welke specifieke combinatie van eigenschappen (bijv. hoge fanin nabij outputs) heeft gestemd voor een detectie. Dit stemt de verklaringen af op de hardwarebeveiligingsvocabulaire.
Model-Agnostic Case-Based Reasoning (Methode 2): Deze methode gebruikt een enkele XGBoost-classifier voor voorspelling, maar verklaart beslissingen door de $k=5$ dichtstbijzijnde buren uit de trainingsset op te halen. Verklaringen vertrouwen op precedenten, waarbij engineers specifieke trainingsvoorbeelden te zien krijgen die overeenkomen met het kenmerkprofiel van de verdachte gate.
Model-Agnostic Feature Attribution (Methoden 3–5): Drie standaard post-hoc attributietechnieken worden toegepast op de XGBoost-classifier:
- LIME: Local Interpretable Model-agnostic Explanations middels perturbatie.
- SHAP: SHapley Additive exPlanations middels game-theoretische waarden (TreeExplifer).
- Gradient Attribution: Eerstegraads sensitiviteitsanalyse.

Detectieprestaties worden primair geëvalueerd met XGBoost, waarbij Random Forest wordt gebruikt om generalisatie te verifiëren. De Hasegawa SVM baseline wordt opnieuw geïmplementeerd onder identieke experimentele condities (dezelfde split, kenmerken en drempelwaarde-protocollen) voor een eerlijke vergelijking.

Belangrijkste Bijdragen

Systematische Vergelijking: Het artikel biedt de eerste empirische vergelijking van domain-aware eigenschapsanalyse, precedent-gebaseerd redeneren en generieke kenmerk-attributie specifiek voor gate-level hardware trojan detectie.
Verbeterde Detectieprestaties: Het werk demonstreert dat geoptimaliseerde XGBoost en Random Forest classifiers de opnieuw geïmplementeerde SVM baseline aanzienlijk overtreffen. XGBoost bereikt 48,08% precisie en 69,44% recall (F1 = 0,568), wat een 4,25-voudige verbetering in precisie en een 7,4-voudige reductie in de dichtheid van vals-positieven vertegenwoordigt ten opzichte van de SVM baseline (11,33% precisie, 35,0 vals-positieven per 1.000 gates).
Explainability Trade-off Analyse:
- Domain-Aware vs. Model-Agnostic: Domain-aware methoden bieden verklaringen in bekende circuittermen (bijv. "hoge fanin complexiteit nabij outputs"), terwijl model-agnostische methoden (LIME, SHAP) generieke belangscores opleveren.
- Correspondentie: Case-based reasoning bereikt een correspondentie van 96,51% tussen voorspellingen en trainingsexemplaren, wat een intuïtieve rechtvaardiging biedt.
- Attributie Consistentie: LIME en SHAP vertonen slechts een matige per-gate overeenkomst (Spearman $\rho = 0,30$ ), wat aangeeft dat ze geen identieke belangrangschikkingen produceren ondanks dat beide model-agnostisch zijn.
- Efficiëntie: Gradient-gebaseerde attributie is 7 keer sneller gebleken dan SHAP (0,16 ms vs. 1,10 ms per verklaring), terwijl het vergelijkbare kenmerk-rangschikkingen oplevert, hoewel het de formele consistentiegaranties van SHAP mist.

Resultaten

Detectie: Op een testset van 11.392 gates bereikte XGBoost bij een geoptimaliseerde drempelwaarde (0,940) 48,08% precisie en 69,44% recall. Random Forest behaalde vergelijkbare F1-scores (0,555) met de helft van de vals-positief dichtheid van XGBoost (2,37 vs. 4,74 FP per 1.000 gates).
Verklaring (Explainability):
- Property-Based (M1): Hoewel de initiële ensemble-weging (EPARS) een lage precisie opleverde (1,7%), resulteerde herweging met MCC bij een geoptimaliseerde drempelwaarde in 78,1% precisie ten koste van een lagere recall (34,7%). Dit benadrukt dat de "beperkte" prestaties van eigenschapsgebaseerde methoden in deze laag-dimensionale setting een functie zijn van de wegingsmethode en het werkpunt, en niet een inherente limiet van de aanpak zelf.
- Case-Based (M2): Bereikte een hoge correspondentie (96,51%) en bood volledige netlijst-provenance voor de opgehaalde buren, waardoor engineers daadwerkelijke trainingsvoorbeelden konden inspecteren.
- Attribution (M3–M5): LIME en SHAP boden generieke kenmerkgewichten zonder expliciete circuitcontext. Gradient attribution bood een snelheidsvoordeel maar deelde dezelfde beperking van het ontbreken van domein-specifieke interpretatie.
Generalisatie: Leave-one-circuit-out (LOCO) validatie toonde sterke generalisatie binnen de RS232-familie (F1 = 0,80), maar faalde bij verschillende ISCAS benchmark-families (F1 = 0,06), wat aangeeft dat de vijf scalaire structurele kenmerken onvoldoende zijn voor cross-architectuur generalisatie zonder rijkere lokale graafrepresentaties.

Betekenis en Claims
Het artikel claimt dat voor hardwarebeveiligingspraktici domain-aware eigenschapsanalyse en case-based reasoning complementaire voordelen bieden ten opzichte van generieke kenmerk-attributie. Eigenschapsgebaseerde methoden sluiten aan bij hoe engineers over circuits redeneren, terwijl case-based methoden precedent-gebaseerde interpreteerbaarheid bieden zonder dat er domeinkennis nodig is om de verklaring zelf te interpreteren.

De auteurs stellen dat computationele efficiëntie (bijv. gradient-methoden) niet kan worden gesubstitueerd door domain-aware interpreteerbaarheid; generieke belangscores (vanuit LIME/SHAP) missen de circuit-level context die nodig is voor validatie en remediatieplanning. Het werk concludeert dat hoewel model-agnostische methoden nuttig zijn voor exploratieve analyse, domain-aligned of precedent-gebaseerde benaderingen superieur zijn voor het genereren van actiegerichte inzichten in hardwarebeveiliging. De bevindingen suggereren dat in laag-dimensionale, door kenmerken beperkte domeinen, het combineren van model-agnostische ML met precedent-gebaseerde verklaringen effectiever kan zijn dan het uitsluitend vertrouwen op ensembles van eigenschappen.

1. De "Domeinexpert" (De eigenschappengebaseerde methode)

2. Het "Dossier" (De k-Nearest Neighbors methode)

3. De "Wiskundige Scorekaart" (LIME, SHAP en Gradient)

De Grote Winnaar: Een Betere Detective

Wat dit voor u betekent

Meer zoals dit