🤖 AI

POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

Het artikel introduceert POTracker, een gefinetuned LLM dat gebruikmaakt van een nieuwe verliesfunctie die tekstuele en structurele gelijkenis balanceert, om een state-of-the-art nauwkeurigheid te bereiken bij het genereren van aan de standaard voldoende, machineleesbare stroomuitvalrapporten voor de Amerikaanse nutssector.

Oorspronkelijke auteurs: Hung Phan, Aniroop Naladala, Dubey Avanindra, Supryia Chinthavali, Lunga Dalton, Ali Jannesari

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hung Phan, Aniroop Naladala, Dubey Avanindra, Supryia Chinthavali, Lunga Dalton, Ali Jannesari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel belangrijk bericht probeert te sturen naar een enorme, supergeorganiseerde bibliotheek genaamd ODIN. Deze bibliotheek beheert informatie over stroomstoringen in heel de Verenigde Staten. Maar hier komt de adder onder het gras: de bibliotheek is extreem kieskeurig. Het wil niet alleen het verhaal van wat er is gebeurd; het wil dat het verhaal wordt geschreven in een zeer specifiek, rigide formaat (zoals een strikte XML-code) met exacte tags, haakjes en regels.

Als je een slordige, handgeschreven brief stuurt of een losse e-mail, kan de computer van de bibliotheek het niet lezen. Het is alsof je een vierkant blokje in een rond gat probeert te duwen.

Dit is het probleem dat de auteurs van dit artikel proberen op te lossen. Ze hebben een slimme tool ontwikkeld genaamd POTracker om als vertaler te fungeren.

Het Probleem: De "Slordige Input" vs. De "Strikte Output"

Denk aan rapporten over stroomstoringen die binnenkomen uit de echte wereld als een chaotische stapel brieven. Sommige zijn getypt op computers, sommige zijn gekrabbeld op servetten, sommige zijn perfecte XML-bestanden, en sommige zijn gewoon platte tekst.

Het Doel: Al deze chaos omzetten in een perfect, gestandaardiseerd "formulier" dat de computer van de bibliotheek direct kan begrijpen.
De Uitdaging: Reguliere AI (Large Language Models of LLM's) zijn geweldig in het schrijven van verhalen of het beantwoorden van vragen, maar ze zijn verschrikkelijk in het volgen van strikte formateringsregels. Als je een normale AI vraagt om een stroomrapport te schrijven, kan het de feiten wel goed krijgen, maar de haakjes verprutsen, een vereiste tag missen, of de informatie in de verkeerde volgorde zetten. Voor de computer van de bibliotheek is een ontbrekende haak gelijk aan een ontbrekend feit.

De Oplossing: POTracker

De auteurs hebben POTracker gebouwd, een gespecialiseerde AI die specifiek is getraind om zowel een "vormاتcontroleur" als een verhalenverteller te zijn.

Zo hebben ze het werkend gemaakt, met behulp van een eenvoudige analogie:

1. De Leraar (GPT-5.2)
Eerst hadden ze moeten weten hoe het "perfecte" antwoord eruitzag. Omdat niemand een database met perfecte antwoorden had, huurden ze een zeer slimme, dure AI (GPT-5.2) in om als de Leraar te fungeren. Ze voerden de slordige rapporten aan deze Leraar en vroegen hem om ze te herschrijven in het perfecte, strikte formaat. Deze herschreven rapporten werden de "Gouden Standaard" of het antwoordmodel.

2. De Leerling (Qwen2.5-7B)
Vervolgens namen ze een kleinere, open-source AI (Qwen2.5) om als de Leerling te fungeren. Ze wilden deze Leerling leren om dezelfde perfecte antwoorden te produceren als de Leraar.

3. Het Nieuwe Beoordelingssysteem (POTrackerLoss)
Dit is de grootste innovatie van het artikel. Normaal gesproken beoordeel je een AI alsof het een spellingtest is: "Heb je het juiste woord geschreven?"

De Oude Manier: Als de AI "Klantenaantal: 500" schreef, maar het formaat vereiste <count>500</count>, zou het oude beoordelingssysteem zeggen: "Goed gedaan, je hebt het juiste getal!", ook al was het formaat fout.
De Manier van POTracker: De auteurs hebben een nieuw beoordelingssysteem uitgevonden genaamd POTrackerLoss. Het beoordeelt de AI op twee zaken tegelijk:
- Het Verhaal (Tekst): Heb je de feiten goed gekregen? (bijv. 500 klanten).
- De Structuur (Tags): Heb je de juiste haakjes en volgorde gebruikt? (bijv. <count>500</count>).

Denk aan het beoordelen van het essay van een student. De oude manier controleerde alleen of de zinnen zinvol waren. De nieuwe manier controleert of de zinnen zinvol zijn én of de student het juiste lettertype, de juiste marges en de juiste paginanummers heeft gebruikt. Als de marges niet kloppen, gaat het cijfer omlaag, zelfs als het essay briljant is.

De Resultaten: Werkt het?

De auteurs hebben hun nieuwe "Leerling" (POTracker) getest tegen andere methoden:

De "Ruwe" AI: Zonder speciale training was de AI slecht in het formaat (slechts ongeveer 16% accuraat).
De "Regelgebaseerde" Robot: Ze probeerden een simpel computerprogramma dat simpelweg een lijst met regels volgde. Het was oké (ongeveer 61% accuraat), maar kon niet goed omgaan met slordige of onverwachte inputs.
POTracker: De nieuwe AI, getraind met het speciale "Tekst + Structuur" beoordelingssysteem, verpletterde de concurrentie. Het bereikte een structurele nauwkeurigheid van 86,47%.

De Menselijke Controle

Ten slotte, om er zeker van te zijn dat de "Leraar" (GPT-5.2) niet zomaar nep-perfecte antwoorden bedacht, hebben menselijke experts naar 50 van de gegenereerde rapporten gekeken. Ze gaven ze een score van 4,03 uit 5, wat bevestigde dat de AI daadwerkelijk hoogwaardige, bruikbare rapporten produceerde.

Samenvatting

Kortom, het artikel zegt: "We hebben ontdekt dat gewone AI te slordig is voor strikte rapporten over stroomstoringen. Daarom hebben we een nieuwe trainingsmethode ontwikkeld die de AI dwingt om aandacht te besteden aan zowel de feiten als de formateringsregels. Het resultaat is een AI die slordige, real-world stroomstoringrapporten veel beter kan omzetten in perfecte, computer-klare gegevens dan welke eerdere methode dan ook."

Technische Samenvatting: POTracker

Probleemstelling
Hoewel Large Language Models (LLM's) uitblinken in algemene tekstgeneratie, blijft hun toepassing op domeinspecifieke datageneratie een uitdaging. Specifiek vereist het genereren van rapporten over stroomuitval voor de nutssector outputs die niet alleen semantisch accuraat zijn, maar ook strikt voldoen aan rigide structurele en formele standaarden die worden gedefinieerd door regelgevende instanties. Het artikel behandelt het interoperabiliteitsprobleem binnen het Amerikaanse elektriciteitsnet, waarbij rapporten over stroomuitval machineleesbaar moeten zijn (bijv. JSON of XML) en compliant moeten zijn met de Common Information Model (CIM) IEC 61968-3 standaard, zoals gedefinieerd door de Outage Data Initiative Nationwide (ODIN) benchmark. Huidige inputs zijn vaak ongestructureerd of niet-standaard (vrije tekst, malafide XML/JSON), en het transformeren hiervan naar canonieke, aan de standaard voldoende rapporten vereist doorgaans handmatige interventie door domeinexperts.

Methodologie
De auteurs stellen POTracker voor, een geoptimaliseerde LLM-pipeline die is ontworpen om de generatie van aan de standaard voldoende rapporten over stroomuitval te automatiseren. De methodologie omvat de volgende componenten:

Basismodel: Het systeem maakt gebruik van Qwen2.5-7B-Instruct, een compact open-weight LLM die is gekozen vanwege de balans tussen nauwkeurigheid en efficiëntie in instructievolging en gestructureerde generatie.
Data Labeling: Vanwege het gebrek aan bestaande datasets die grondwaarheid-standaardrapporten bevatten, hebben de auteurs GPT-5.2 (een gesloten LLM) ingezet om synthetische standaardrapporten te genereren vanuit niet-standaard inputs op basis van ODIN-documentatie. Deze synthetische rapporten dienen als de "gold" labels voor training.
POTrackerLoss (Custom Loss Function): De kerninnovatie is een nieuwe loss-functie die traditionele cross-entropy uitbreidt. Het incorporeert een sequentieniveau kwaliteitssignaal afgeleid van een aangepaste metriek, POTrackerMetric.
- POTrackerMetric: Deze metriek evalueert de gelijkenis tussen een gegenereerd rapport en een grondwaarheid-rapport door twee factoren te combineren:
  1. Tekstuele Gelijkenis: Gemeten via de cosinusgelijkenis van tekstuele waarden om semantische accuratesse te waarborgen.
  2. Tag Structuur Gelijkenis: Gemeten met behulp van difflib.SequenceMatcher om de uitlijning van XML-hiërarchische structuren, attributen en knoopvolgorde te evalueren.
- De totale loss wordt berekend als $L_{total} = L_{CE} + \lambda \cdot p$ , waarbij $L_{CE}$ de standaard token-level cross-entropy is en $p$ een penalty is afgeleid van de inverse van de POTrackerMetric score.
Baselines: De studie vergelijkt POTracker met:
- Fine-tuning Varianten: Token Weight Cross Entropy (TW-CE), Tag Masking Cross Entropy (TM-CE), Example Weight Cross Entropy (EW-CE-PO) en Direct Preference Optimization (DPO).
- Regelgebaseerde Aanpak: Een heuristisch programma dat handmatig niet-standaard tags naar standaard tags mapt op basis van regels gedefinieerd door domeinexperts.
- Originele Baseline: Het ongewijzigde Qwen2.5-7B-Instruct model.

Belangrijkste Bijdragen

POTrackerMetric: Een nieuwe evaluatieformule die de gelijkenis tussen gegenereerde en verwachte rapporten over stroomuitval kwantificeert door gezamenlijk rekening te houden met tekstuele inhoud en XML-tagstructuur.
POTrackerLoss: Een aangepaste loss-functie die de POTrackerMetric integreert in het fine-tuning proces, waardoor de LLM kan optimaliseren voor zowel semantische correctheid als structurele validiteit tegelijkertijd.
Uitgebreide Evaluatie: Een rigoureuze vergelijking van de voorgestelde methode met meerdere fine-tuning strategieën en een regelgebaseerde baseline op een dataset van 1.000 rapporten over stroomuitval.

Resultaten
De experimenten werden uitgevoerd op een dataset van 1.000 entiteiten (800 voor training, 100 voor validatie, 100 voor testen). De resultaten wijzen uit:

Superieure Prestaties: POTracker presteerde significant beter dan alle andere fine-tuning benaderingen. Het verbeterde de algehele nauwkeurigheid met tot wel 51% vergeleken met de baselines.
Structurele Accuratesse: POTracker behaalde een structurele accuratesse (Tag Accuracy) van 86,47%, vergeleken met slechts 3,56% voor de originele Qwen2.5-7B-Instruct en ongeveer 3,5% voor andere fine-tuning varianten.
Baseline Vergelijking: Hoewel de regelgebaseerde aanpak structureel goed presteerde (79,00% Tag Accuracy), overtrof POTracker deze in algehele nauwkeurigheid (69,14% vs. 61,46%).
Beperkingen van Andere Methoden: Standaard cross-entropy varianten (TW-CE, TM-CE, EW-CE-PO) en DPO boden geen betekenende winst ten opzichte van de ongewijzigde baseline, wat suggereert dat standaard NLP fine-tuning pipelines onvoldoende zijn voor taken die strikte schema-compliance vereisen zonder structureel-bewuste loss functies.
Menselijke Evaluatie: Een studie waarbij twee domeinexperts de kwaliteit van de door GPT-5.2 gegenereerde labels (gebruikt als grondwaarheid) beoordeelden met een gemiddelde score van 4,03 op een schaal van 0–5, valideert de betrouwbaarheid van de synthetische dataset.

Betekenis en Claims
Het artikel claimt dat POTracker effectief de uitdaging aanpakt van het genereren van domeinspecifieke, aan de standaard voldoende data waarbij strikte naleving van het formaat even cruciaal is als de semantische betekenis. Door een loss-functie te introduceren die expliciet structurele afwijkingen bestraft, demonstreren de auteurs dat LLM's kunnen worden geoptimaliseerd om rapporten te produceren die machineleesbaar zijn en voldoen aan industriële regelgevende standaarden (CIM IEC 61968-3). Het werk benadrukt dat hoewel regelgebaseerde systemen sterk zijn in het afdwingen van structuur, een aangepast geoptimaliseerde LLM een betere balans kan bereiken tussen semantische flexibiliteit en structurele correctheid, wat potentieel de handmatige last voor nutsbedrijven en hulpdiensten bij het verwerken van stroomuitvalgegevens kan verminderen.