💬 NLP

TRACE: A taxonomy-grounded synthetic dataset for teaching-program generation and session interpretation in Applied Behavior Analysis

Dit artikel introduceert TRACE, een op taxonomie gebaseerde synthetische dataset van 2.999 voorbeelden die is ontworpen om HIPAA-beperkingen te overwinnen door het trainen van AI-modellen voor toegepaste gedragsanalyse-taken zoals het genereren van leerprogramma's en het interpreteren van gedrag over meerdere sessies mogelijk te maken.

Oorspronkelijke auteurs: Festus Kahunla

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Festus Kahunla

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe je een therapeut moet zijn voor kinderen met autisme. De robot moet twee hoofdonderwerpen leren: hoe je een lesplan schrijft voor een specifieke vaardigheid, en hoe je een dagboek van eerdere sessies leest om te begrijpen of het kind vooruitgang boekt, moeite heeft of zich verzet.

Het probleem? Echte therapieteksten zijn als verzegelde medische dossiers. Ze worden beschermd door strenge privacywetgeving (HIPAA), zodat onderzoekers ze niet kunnen delen om de robot te trainen. Als ze proberen namen te verwijderen, verliezen ze vaak de kleine, cruciale details die de robot nodig heeft om te leren.

Dan komt TRACE in beeld. Denk aan TRACE als een enorme, perfect georganiseerde "nep"bibliotheek die specifiek is gemaakt om deze robot te trainen. Het bevat bijna 3.000 voorbeelden van deze therapedocumenten, maar ze zijn niet echt; ze zijn synthetisch (door computers gegenereerd) en opgebouwd als een Lego-set.

Hier is hoe TRACE werkt, opgesplitst in eenvoudige concepten:

1. Het "Receptenboek" (De Taxonomie)

In plaats van zomaar te raden hoe een therapietekst eruit moet zien, hebben de makers een strikt reglement opgesteld (een taxonomie genoemd).

De Analogie: Stel je het receptenboek van een meesterkok voor. Elk ingrediënt (zoals "prompt-hiërarchie" of "versterkingsschema") staat vermeld, en elk recept citeert precies uit welk beroemd kookboek het komt (zoals de standaard ABA-handboeken).
Het Resultaat: De computer "hallucineert" niet of verzint dingen. Het kiest ingrediënten uit dit reglement en combineert ze volgens strikte regels. Als het reglement zegt "Je mag X niet mengen met Y", dan doet de computer dat niet.

2. De "Fabriek" (De Generator)

Het artikel beschrijft een deterministische fabriek.

De Analogie: Denk aan een 3D-printer die een speelgoedauto bouwt. Als je het exacte blauwdruk en exact dezelfde startknopdruk (een "zaadje") geeft, bouwt het elke keer exact dezelfde auto.
Waarom dit belangrijk is: In TRACE komt elk voorbeeld met een "bon" (provenance). Als een onderzoeker een fout vindt in één voorbeeld, hoeft hij niet 3.000 bestanden één voor één te repareren. Ze repareren gewoon het ene "blauwdruk" in het receptenboek, drukken opnieuw op de knop, en de hele bibliotheek van 3.000 voorbeelden wordt direct opnieuw gegenereerd met de correctie op iedereen toegepast.

3. Wat zit er in de Bibliotheek?

De bibliotheek is opgesplitst in twee hoofdsecties:

Sectie A: De Lesplannen: Dit zijn instructies over hoe je vaardigheden leert (zoals schoenen strikken of "hallo" zeggen) met drie verschillende leerstijlen.
Sectie B: De Sessiedagboeken: Dit zijn samenvattingen van wat er over vele dagen is gebeurd. De computer leert patronen te herkennen, zoals "Het kind raakt gefrustreerd", "Het kind maakt een terugval" of "Het kind heeft een gedragsuitbarsting". Het leert ook om voor te stellen wat als volgende te doen, inclusief veiligheidsplannen als dingen gevaarlijk worden.

4. De "Speciale Vormen"

Het artikel merkt op dat sommige gedragingen moeilijk te meten zijn met een simpele "telling".

De Analogie: Als je telt hoe vaak een kind schreeuwt, werkt een simpel getal. Maar als je telt hoe lang een driftbui duurt, of hoe vaak een kind probeert aarde te eten (pica) en hoe vaak ze werden gestopt, heb je een speciaal formulier nodig. TRACE bevat deze specifieke "formulieren" voor verschillende gedragingen zodat de data er realistisch uitziet.

5. Wat dit is (en wat het NIET is)

De auteurs zijn zeer duidelijk over de grenzen van dit project:

Het IS: Een onderzoeksinstrument, een dataset voor het trainen van AI, en een manier om te testen hoe goed computers klinische regels kunnen begrijpen. Het wordt vrijgegeven zodat andere wetenschappers het kunnen gebruiken om betere modellen te bouwen.
Het IS NIET: Een echt klinisch instrument. Het is niet getest op echte patiënten. De auteurs stellen expliciet dat niemand dit moet gebruiken om echte medische beslissingen te nemen, patiënten te diagnosticeren of definitieve behandelplannen op te stellen zonder eerst een menselijke arts erover te laten kijken. Het is een "trainingspop", geen "arts".

Samenvatting

TRACE is een veilige, privacyvriendelijke en perfect georganiseerde trainingsomgeving voor AI. Het gebruikt een strikt reglement om duizenden nep-therapieteksten te genereren die er echt uitzien en aanvoelen, waardoor onderzoekers computers kunnen leren hoe ze Toegepaste Gedragsanalyse (ABA) kunnen begrijpen zonder ooit de privé-dossiers van een echte patiënt te hoeven zien. Het is een "simulatie" die is ontworpen om de AI slimmer te maken, maar het is geen vervanging voor menselijk oordeel.

Technische Samenvatting: TRACE – Een op Taxonomie Gebaseerde Synthetische Dataset voor Toegepaste Gedragsanalyse

Probleemstelling

Toegepaste Gedragsanalyse (ABA) is de dominante, evidence-based behandeling voor autismespectrumstoornis, wat leidt tot grote hoeveelheden formele klinische documentatie, waaronder lesprogramma's en gedragslogboeken over meerdere sessies. De ontwikkeling van taalkundige modellen (LM's) die in staat zijn deze documenten op te stellen, wordt echter ernstig beperkt door de toegang tot data. Real-world sessiedata valt onder HIPAA-regelgeving en regels voor beroepsgeheim, wat de vrijgave van trainingscorpora verhindert. Geanonimiseerde releases behouden vaak niet de gedetailleerde klinische informatie die noodzakelijk is voor effectieve modeltraining. Bovendien, hoewel eerder werk AI in ABA heeft onderzocht, vertrouwen bestaande oplossingen ofwel op propriëtaire, niet-vrijgegeven datasets of slagen ze er niet in om de complexe taak van gedragsinterpretatie over meerdere sessies aan te pakken. Het vakgebied staat ook voor ethische zorgen betreffende hallucinaties in klinische settings en het ontbreken van gevalideerde hulpmiddelen voor AI-ondersteunde dienstverlening.

Methodologie

De auteurs presenteren TRACE (Taxonomy-Referenced ABA Clinical Examples), een synthetische instructie-tuning dataset gegenereerd via een deterministische, op taxonomie gebaseerde pijplijn.

1. Taxonomie en Klinische Verankering

De kern van de methodologie is een gecontroleerde woordenschat, gecodeerd in YAML-bestanden en georganiseerd per klinisch domein. Elk element in deze woordenschat is verankerd in canonieke ABA-literatuur en ethische codes, waaronder:

Leerboeken: Cooper et al. (2020) voor operationele definities en lesmethoden.
Functionele Analyse: Iwata et al. (1994) en Hanley et al. (2003) voor gedragsfuncties.
Curricula: VB-MAPP en AFLS voor vaardigheidsdoelen en beheersingsniveaus.
Ethiek: BACB Ethics Code en ABAI Position Statements voor crisisplanning.

De taxonomie behandelt twee primaire taken:

Generatie van Lesprogramma's: Omvattende Discrete Trial Training (DTT), Natural Environment Teaching (NET) en Taakanalyse.
Sessie-interpretatie: Dekkend 12 trajectpatronen en 13 doelgedragingen over logboeken van meerdere sessies.

2. Deterministische Generatielus

Het proces voor het genereren van de dataset is volledig deterministisch, gedreven door een configuratiebestand en een willekeurige seed. Voor elk voorbeeld:

Selecteert het systeem een klinisch geldige configuratie uit de taxonomie, gewogen op klinische frequentie.
Past Compatibiliteitsregels toe: Verwerpt inconsistente combinaties (bijvoorbeeld ervoor zorgen dat foutloze foutcorrectie alleen wordt gekoppeld aan specifieke prompting-hiërarchieën).
Berekent Slots: Vult templateslots op basis van de geselecteerde cellen.
Rendert Berichten: Genereert gebruikers- en assistentberichten in een chat-tripletformaat.
Stempelt Herkomst: Registreert de exacte taxonomische cellen en seed die zijn gebruikt om het voorbeeld te genereren, in een veld meta.provenance.

Deze aanpak maakt "verfijning op het taxonomieniveau" mogelijk. Als een onnauwkeurigheid wordt gemarkeerd, kan de verantwoordelijke taxonomische cel worden bewerkt, waarna het volledige corpus deterministisch kan worden herbouwd om alle betrokken voorbeelden bij te werken zonder handmatig per voorbeeld te herschrijven.

3. Datastructuur en Samenstelling

TRACE bestaat uit 2.999 voorbeelden opgemaakt als JSONL-bestanden. Elk voorbeeld bevat:

Chat-Triple: Systeemprompt, gebruikersprompt voor de taak en gestructureerd assistentantwoord.
Metablok: Bevat gouden labels (deterministisch afgeleid uit de taxonomie), voorbeeld-ID (SHA-256-hash) en volledige selectieherkomst.

De dataset is gestratificeerd in vier splits:

Train: 2.549 voorbeelden (85,0%)
Validatie: 149 voorbeelden (5,0%)
Test: 281 voorbeelden (9,4%)
Sanity: 20 voorbeelden (0,7%)

Het corpus behandelt vier leerlingprofielen (Vroege Leerling, Schoolleeftijd, Adolescent, Volwassene) en waarborgt diversiteit in lesmethoden, vaardigheidsdoelen en gedragsverloop. Opmerkelijk is dat de dataset gedrags-specifieke meetvormen bevat (bijvoorbeeld duur voor tantrums, gedeeltelijke-intervalregistratie voor stereotypie) in plaats van generieke frequentietellingen.

Belangrijkste Resultaten en Validatie

Het artikel rapporteert over de constructie en technische validatie van de dataset in plaats van de prestaties van een specifiek model dat erop is getraind.

Schema-integriteit: Alle 2.999 voorbeelden worden correct geparseerd als JSON met volledige metadata.
Herkomst-integriteit: 100% van de voorbeelden bevat ingevulde herkomstvelden, waarbij elke output wordt gekoppeld aan specifieke taxonomische cellen en bronnen.
Uniciteit: Alle voorbeeld-ID's zijn uniek binnen en tussen de splits.
Stratificatie: De splits zijn gebalanceerd over lesmethoden en interpretatiepatronen, waarbij de testset een representatieve selectiepool vasthoudt.
Determinisme: Het opnieuw uitvoeren van de generatiepijplijn met dezelfde seed levert identieke corpora op, wat reproduceerbaarheid garandeert.
Klinische Review: De taxonomie en de generatielogica zijn gecontroleerd tegen gepubliceerde bronnen. Het artikel merkt op dat voor validatie door meerdere reviewers specifieke metrieken (quadratisch-gewogen Cohen's $\kappa$ en Matthews-correlatiecoëfficiënt) worden aanbevolen, hoewel het artikel de dataset zelf presenteert als een onderzoeksartefact dat wacht op dergelijke klinische validatie.

Betekenis en Aanspraken

De auteurs positioneren TRACE als een onderzoeksartefact, met de uitdrukkelijke vermelding dat het niet klinisch is gevalideerd en geen klinisch hulpmiddel is. De betekenis ervan ligt in:

Overbruggen van de Datakloof: Het biedt het eerste synthetische ABA-corpus dat zowel generatie van lesprogramma's als interpretatie over meerdere sessies behandelt, waarmee de barrière van HIPAA-beschermde real-world data wordt aangepakt.
Controleerbaarheid en Verfijning: In tegenstelling tot typische synthetische datasets, maakt het deterministische, op taxonomie gebaseerde ontwerp van TRACE systematische correctie mogelijk. Fouten kunnen worden teruggevoerd naar specifieke broncellen, waardoor gerichte reparaties mogelijk zijn die zich door het hele dataset voortplanten.
Domein-agnostische Pijplijn: Hoewel de taxonomie specifiek voor ABA is, zijn de generatorcode en templates domein-agnostisch, en bieden ze een blauwdruk voor het genereren van synthetische data in andere klinische disciplines met gestructureerde conventies.
Ethisch en Veiligheidskader: De datasetgeneratie integreert ethische beperkingen (bijvoorbeeld het vermijden van specifieke dwangprocedures in crisisplannen) en bevat "sanity"-checks om de vrijgave van klinisch ongeldige data te voorkomen.

Het artikel concludeert dat TRACE dient als een basislijn voor toekomstige ABA-specifieke taalkundige modellen, een hulpmiddel voor onderzoek naar op taxonomie gebaseerde synthetische datageneratie, en een bron voor supervised fine-tuning van kleine taalkundige modellen, mits elke klinische toepassing onder verantwoordelijkheid blijft van de gebruiker en de instelling.