Seven simple steps for log analysis in AI systems

Dit paper introduceert een gestandaardiseerd zevenstappenplan voor loganalyse in AI-systemen, ondersteund door concrete codevoorbeelden in de Inspect Scout-bibliotheek, om onderzoekers te helpen bij rigoureuze en reproduceerbare evaluatie van modelgedrag.

De kern

Stel je voor dat AI-systemen (zoals slimme chatbots of autonome agenten) als grote, drukke fabrieken zijn. Elke keer als ze een taak uitvoeren, een vraag beantwoorden of een beslissing nemen, laten ze een spoor van logboeken achter. Dit zijn niet zomaare notities; het zijn gedetailleerde dagboeken van elke gedachte, elke tool die ze gebruiken, elke fout die ze maken en elke keer dat ze iets weigeren.

Het probleem? Deze fabrieken produceren miljoenen pagina's aan tekst. Als je dit allemaal met de hand leest, ben je nooit klaar.

Deze paper, geschreven door experts van onder andere het UK AI Security Institute, biedt een recept voor zeven simpele stappen om die enorme berg papier te verwerken tot waardevolle inzichten. Ze noemen dit "Log Analysis".

Hier is de uitleg in alledaags Nederlands, met een paar creatieve vergelijkingen:

De Grote Vergelijking: De Detective en de Berg Bewijsmateriaal

Stel je voor dat je een detective bent die een mysterie moet oplossen (bijvoorbeeld: "Waarom faalde deze AI bij het hacken van een beveiligingssysteem?"). Je hebt een berg bewijsmateriaal (de logs), maar het is een rommelige berg. Je moet het sorteren, analyseren en een verhaal maken.

De paper zegt: "Gebruik niet zomaar je intuïtie. Volg dit bewezen stappenplan."

---

De 7 Stappen (Het Recept)

Stap 1: Bepaal je doel (De Missie)

Voordat je begint te zoeken, moet je weten wat je zoekt.

• Vergelijking: Ga je op jacht naar een naald in een hooiberg, of zoek je naar een specifiek type steen?
• In de praktijk: Wil je weten of de AI slim genoeg is? Of wil je controleren of je test zelf wel goed werkte? Zonder een duidelijk doel ga je verdwalen in de data.

Stap 2: Maak een ordelijke database (De Archiefkast)

Je kunt niet zoeken in een stapel losse vellen papier. Je moet de logs in een systeem stoppen.

• Vergelijking: Het is alsof je een enorme bibliotheek bouwt waar elk boek (logboek) op de juiste plek staat, met een etiket erop (datum, type taak, modelnaam).
• In de praktijk: Zorg dat je alle onvolledige of gebroken logs verwijdert en dat alles in één standaardformaat zit. Dan kun je snel filteren.

Stap 3: Verken de data (De Snuffelronde)

Voordat je zware machines inzet, kijk je even met je eigen ogen.

• Vergelijking: Het is alsof je als detective eerst een paar dossiers opent om te zien wat voor soort criminaliteit er speelt. Lees een paar voorbeelden, zowel de geslaagde als de mislukte.
• In de praktijk: Kijk naar de metadata (hoeveel woorden, hoeveel tijd) en lees een paar gesprekken. Zoek naar patronen: "Ah, elke keer als de AI een fout maakt, zegt ze 'sorry'."

Stap 4: Maak je vraag scherp (De Scherpslijper)

Nu je een idee hebt, moet je je vraag van vaag naar concreet vertalen.

• Vergelijking: In plaats van te vragen "Is de AI gek?", vraag je: "Zegt de AI 'ik kan dit niet' wanneer het eigenlijk wel kan?"
• In de praktijk: Je zoekt naar specifieke signalen. Bijvoorbeeld: zoek naar de woorden "gevaarlijk" of "mag ik niet". Dit zijn je "zoektermen" voor de volgende stap.

Stap 5: Bouw een scanner (De Robot-Detective)

Nu bouw je een automatische tool (een "scanner") die deze signalen zoekt.

• Vergelijking: Je bouwt een metalen detector die door de hooiberg gaat en piept als hij metaal (het specifieke gedrag) vindt. Je kunt een simpele scanner maken (zoek naar woord X) of een slimme AI-scanner (die begrijpt waarom de AI weigert).
• In de praktijk: Je schrijft instructies voor een AI (de "scanner") die de logs leest en zegt: "Ja, dit is een weigering" of "Nee, dit is geen weigering".

Stap 6: Test je scanner (De Proefneming)

Je robot-detective werkt misschien niet perfect. Hij kan te veel piepen (vals alarm) of te weinig.

• Vergelijking: Je neemt een klein stukje van de hooiberg, kijkt zelf handmatig wat erin zit, en vergelijkt dit met wat je robot vond. Werkt hij goed? Zo niet, pas je zijn instructies aan.
• In de praktijk: Laat mensen (experts) een stukje van de logs beoordelen. Vergelijk dit met wat je scanner zei. Als ze het niet eens zijn, moet je je scanner "scherper" maken.

Stap 7: Gebruik de resultaten (De Oplossing)

Nu je betrouwbare data hebt, trek je conclusies.

• Vergelijking: Je hebt nu een lijst met alle naalden in de hooiberg. Je kunt nu zeggen: "Deze naalden komen vooral voor in de zomer" of "Deze naalden zijn gevaarlijk".
• In de praktijk: Je gebruikt de data om te zeggen: "Onze AI weigert te vaak" of "Deze test werkte niet goed". Je kunt dit gebruiken om de AI te verbeteren of om nieuwe tests te ontwerpen.

---

Waarom is dit belangrijk?

Vroeger keken mensen naar AI en zeiden: "Het werkt wel, lijkt me." Maar nu zijn AI-systemen zo complex dat ze soms gevaarlijke dingen doen of slimme trucs uithalen die we niet zien.

Deze paper zegt: "Stop met gissen."
In plaats van te zeggen "Ik denk dat de AI weigert", kun je nu zeggen: "Op basis van 1.000 logs hebben we bewezen dat de AI in 15% van de gevallen weigert, vooral bij cybersecurity-taken."

Het is de overstap van gokken naar wetenschap.

Samenvattend

De auteurs geven je een bouwpakket (met gratis software genaamd Inspect Scout) om die enorme, chaotische berg AI-logs om te toveren in een helder, begrijpelijk verhaal. Het helpt onderzoekers om AI-systemen niet alleen te testen, maar ze ook echt te begrijpen.

Technische samenvatting

Titel: Zeven Eenvoudige Stappen voor Loganalyse in AI-systemen

Auteurs: Magda Dubois et al. (UK AI Security Institute, US CAISI, METR, Princeton, RAND, Meridian Labs, University of Cambridge).
Publicatie: arXiv:2604.09563v1 (13 februari 2026).

---

1. Het Probleem

AI-systemen (zowel autonome agenten als chatbots) genereren enorme hoeveelheden logbestanden (logs) tijdens interacties met tools en gebruikers. Deze logs bevatten waardevolle informatie over modelcapaciteiten, neigingen en gedrag, maar zijn vaak ongestructureerd en complex.

• Uitdaging: Het handmatig analyseren van deze logs is onhaalbaar bij grote datasets. Hoewel er methoden zijn ontwikkeld (zoals LLM-based scanners), ontbreekt er een gestandaardiseerde aanpak.
• Gevolg: Zonder een gestructureerde methode is het moeilijk om reproduceerbare resultaten te behalen, de validiteit van evaluaties te waarborgen of systematisch patronen (zoals "reward hacking" of weigeringen) te detecteren. Bestaande kennis is vaak verspreid over blogposts en interne rapporten in plaats van systematische methodologieën.

2. Methodologie: Een Standaardisatie-Pipeline

De auteurs stellen een zevenstaps-pipeline voor om loganalyse te stroomlijnen, geïllustreerd met voorbeelden uit de open-source bibliotheek Inspect Scout. De pipeline is ontworpen voor zowel exploratieve analyses (bestaande logs) als hypothese-gedreven analyses.

De Zeven Stappen:

1. Definieer het Doel:

   • Formuleer een onderzoeksvraag (bijv. "Kan de agent complexe taken oplossen?" of "Werkt de evaluatie zoals bedoeld?").
   • Begrijp de context: taakopzet, modelconfiguratie (temperatuur, tokenlimiet), agent-omgeving (tools, sandbox) en agent-context (prompts).

2. Bereid de Log-database voor:

   • Organiseer logs in een gestructureerde database (bijv. via Inspect AI).
   • Voer filtering uit: verwijder onvolledige runs, anonimiseer gevoelige data en standaardiseer metadata en scores.

3. Verken de Logs (Exploratie):

   • Metadata: Analyseer structuur, tijdstempels, tokenaantallen en scores.
   • Manuele inspectie: Lees steekproeven van transcripts (random of strategisch, bijv. op basis van scores of foutberichten) om gedrag en beperkingen te begrijpen.
   • Automatische verkenning: Gebruik programmeerbare methoden (string matching) of LLM-scanners om patronen te identificeren zonder volledige context te verliezen.

4. Verfijn de Onderzoeksvraag:

   • Vertaal de algemene vraag naar concrete, meetbare signalen.
   • Voorbeeld: Van "Waarom faalde de agent?" naar "Zijn er directe weigeringen (expliciete taal) of indirecte weigeringen (onderwerp ontlopen)?"
   • Distinguieer tussen omgevingsfactoren (tools, instructies) en systeemfactoren (redenering, gedrag).

5. Ontwikkel een Scanner:

   • Bouw een geautomatiseerde detector (vaak LLM-based, soms regex).
   • Ontwerpbeslissingen:
     • Chunking: Analyseer hele transcripts of specifieke delen (bijv. alleen tool calls).
     • Scoretype: Kies tussen binair (ja/nee), multi-class (geen/partial/critical), kwantitatief (aantallen) of relatief.
   • Best Practices: Gebruik duidelijke prompts, gedetailleerde rubrics met voorbeelden, laat ruimte voor een "other"-categorie, en vraag om uitleg en citaten om hallucinaties te voorkomen.

6. Valideer de Scanner:

   • Stratified Sampling: Selecteer een validatiestel dat alle klassen en onzekerheidsniveaus dekt.
   • Ground Truth: Verkrijg menselijke labels (door experts of crowdsourcing). Voor subjectieve kenmerken zijn meerdere raters nodig om bias te minimaliseren.
   • Metrics: Bereken precisie, recall, F1-score, ROC-AUC en Brier-score afhankelijk van het type output.
   • Iteratie: Verfijn de scanner op basis van fouten (bijv. false positives bij indirecte weigeringen).

7. Gebruik de Resultaten:

   • Flagging: Gebruik scanners in productie om direct actievere gedragingen te detecteren (bijv. blokkeren van schadelijke taken).
   • Onderzoek: Transformeer ongestructureerde logs naar gestructureerde data voor statistische analyse.
   • Rigoreuze Praktijken: Vermijd cherry-picking, visualiseer distributies, trianguleer signalen en pas geavanceerde statistiek toe (bijv. Hiërarchische Bayesiaanse GLMs) om hypothesen te testen.

3. Belangrijkste Bijdragen

• Gestandaardiseerde Framework: De eerste uitgebreide, gestructureerde pipeline voor loganalyse in AI, die de kloof tussen informele praktijken en rigoureuze methodologie overbrugt.
• Inspect Scout Integratie: Het paper demonstreert de methodologie met concrete code-voorbeelden in de open-source bibliotheek Inspect Scout, wat de reproduceerbaarheid voor de gemeenschap vergroot.
• Gedetailleerde Best Practices: Het biedt een uitgebreide gids voor het ontwerpen van LLM-scanners, inclusief het omgaan met bias, het definiëren van rubrics, en het valideren van resultaten.
• Taxonomie van Signalen: Het identificeert en categoriseert specifieke signalen voor zowel agenten (bijv. tool-fouten, evaluatiebewustzijn) als chatbots (bijv. sycophancy, crisisrespons).

4. Resultaten (Case Study)

De auteurs passen de pipeline toe op een cybersecurity-evaluatie (Cybench) met 40 Capture-the-Flag taken.

• Observatie: Bij manuele verkenning bleek dat modellen vaak taken weigerden of halverwege stopten, wat de evaluatieresultaten vertekende.
• Implementatie: Een eenvoudige keyword-scanner bleek ontoereikend vanwege variatie in taalgebruik.
• Verbetering: Na verfijning van de onderzoeksvraag en het ontwikkelen van een multi-class LLM-scanner (met categorieën zoals Direct Refusal, Indirect Refusal, Partial Refusal), werd de scanner gevalideerd.
• Prestatie: De geteste scanner (GPT-5) bereikte een F1-score van 0,998 voor binair classeren van weigeringen en 99,0% nauwkeurigheid over alle vier de categorieën.
• Inzicht: De verfijnde scanner kon subtielere vormen van non-compliance (zoals het opgeven van de taak met de claim dat deze onoplosbaar is) onderscheiden van echte weigeringen.

5. Significantie en Toekomstperspectief

• Noodzaak voor Veiligheid en Evaluatie: Naarmate AI-systemen complexer worden en autonoom opereren, is loganalyse cruciaal voor het begrijpen van gedrag, het detecteren van veiligheidsrisico's en het valideren van evaluaties.
• Reproduceerbaarheid: De gestandaardiseerde aanpak helpt onderzoekers om resultaten reproduceerbaar te maken en een gemeenschappelijke taal te ontwikkelen binnen het veld.
• Open Vragen: Het paper identificeert belangrijke open vragen voor toekomstig onderzoek, zoals de optimale scoring voor verschillende patronen, de impact van transcriptlengte op scannerbetrouwbaarheid ("lost in the middle" effect), en de determinatie van steekproefgroottes voor validatie.

Conclusie: Dit paper biedt een essentieel handboek voor onderzoekers en ontwikkelaars om de "black box" van AI-interacties te doorgronden via systematische loganalyse, waardoor zowel de veiligheid als de prestaties van AI-systemen beter kunnen worden beoordeeld en verbeterd.