🤖 machine learning

ASD-Bench: A Four-Axis Comprehensive Benchmark of AI Models for Autism Spectrum Disorder

Dit artikel introduceert ASD-Bench, een uitgebreid vierasig benchmark dat diverse machine learning- en foundationmodellen evalueert op een gecureerde dataset van 4.068 AQ-10-registraties over drie leeftijdsgroepen om onderscheidende leeftijdspecifieke diagnostische patronen, de beperkingen van evaluaties op basis van één maatstaf en de noodzaak van op cohort toegespitste implementatiestrategieën bij geautomatiseerde screening op autismespectrumstoornis aan het licht te brengen.

Oorspronkelijke auteurs: Shubhankit Singh, Hassan Shaikh, Kuldeep Raghuwanshi, Keshav Bulia

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shubhankit Singh, Hassan Shaikh, Kuldeep Raghuwanshi, Keshav Bulia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een "metaaldetector" te bouwen om een specifiek type verborgen schat (Autismespectrumstoornis, of ASS) te vinden in een menigte mensen. Al lang hebben onderzoekers deze detectoren gebouwd, maar ze hebben ze voornamelijk op drie manieren getest die niet het hele verhaal vertellen:

Ze testten telkens maar één type detector.
Ze keken alleen of het de schat vond, niet of het zeker was dat het de schat had gevonden, of of het zou breken als de grond trilde.
Ze testten het voornamelijk op volwassenen, en negeerden kinderen en tieners die de schat misschien anders verstoppen.

Dit artikel, ASD-Bench, is als een groot, georganiseerd "Tough Guy-toernooi" voor 17 verschillende AI-detectoren. De onderzoekers wilden zien welke het beste is in het opsporen van ASS met behulp van een eenvoudige vragenlijst van 10 vragen (de AQ-10), maar ze deden dit op een veel slimmere manier.

Hier is de uitleg van hun toernooi, simpel uitgelegd:

1. De drie teams (leeftijdsgroepen)

De onderzoekers testten niet iedereen samen. Ze splitsten de menigte op in drie verschillende teams, wetende dat een kind, een tiener en een volwassene hun kenmerken misschien anders "verstoppen":

De Kids (1–11 jaar): De makkelijkste groep om te spotten.
De Tieners (12–16 jaar): De moeilijkste groep. Ze zijn als "chameleons" die hebben geleerd om zich aan te passen, waardoor het moeilijker is om de schat te vinden.
De Volwassenen (17–64 jaar): Verrassend makkelijk te spotten, maar alleen omdat de dataset klein was en de patronen zeer duidelijk waren.

2. De vier regels van het spel (de "vier-assen" benchmark)

In plaats van alleen te tellen hoeveel schatten de detectoren vonden (nauwkeurigheid), gebruikten de juryleden vier verschillende scorekaarten:

Score 1: Het Trefferpercentage (Prestatie): Vond het de schat? (Standaard nauwkeurigheid).
Score 2: Het Zekerheidscontrole (Kalibratie): Als de detector zegt "90% zeker", is het dan echt 90% zeker? Sommige detectoren waren geweldig in het vinden van schatten, maar slecht in het weten hoe zeker ze waren (zoals iemand die goed raadt, maar denkt dat hij een genie is).
Score 3: De "Waarom"-factor (Interpreteerbaarheid): Kan de detector uitleggen welke vraag op de lijst het ertoe deed beslissen? (Bijv: "Ik zei 'Ja' omdat het kind sociale kletspraat haat").
Score 4: De Triltest (Robuustheid): Als je per ongeluk een paar antwoorden overkrast of de data een beetje ruis krijgt, werkt de detector dan nog steeds, of raakt hij in paniek en geeft hij een verkeerd antwoord?

3. De nieuwe scorekaart: "De HAP"

De onderzoekers bedachten een nieuw scoresysteem genaamd HAP (Heuristic Aggregate Penalty).

De Analogie: Stel je een wachtkamer bij een arts voor.
- Valse Positief: De detector zegt dat een gezond kind ASS heeft. Het kind krijgt een tweede controle. Het is vervelend, maar geen ramp.
- Valse Negatief: De detector zegt dat een kind met ASS gezond is. Het kind mist hulp. Dit is een tragedie.
De HAP-regel: De HAP-score behandelt het missen van een echt geval (Valse Negatief) als 5 keer erger dan een vals alarm. Het straft ook detectoren die "stemmingswisselingen" hebben (onconsistent zijn). Als een detector maandag geweldig is maar dinsdag verschrikkelijk, geeft HAP het een slechte score.

4. De toernooiresultaten

Hier is wat er gebeurde toen ze de 17 verschillende AI-modellen tegen de drie leeftijdsgroepen lieten spelen:

De Volwassenen: Het was een klinkende overwinning. 10 van de 17 modellen haalden een perfecte score. De onderzoekers waarschuwen echter dat dit misschien komt omdat de volwassenengroep klein was en de data te makkelijk was, zoals een toets met alle antwoorden op de achterkant van het blad.
De Kids: De modellen deden het zeer goed. De belangrijkste aanwijzing voor kids was A9: "Geniet ik van sociale kletspraat?" Kids met ASS haten het meestal, en de AI merkte dit direct op.
De Tieners: Dit was de eindbaas. De modellen worstelden hier het meest. De aanwijzing "sociale kletspraat" stopte met werken. In plaats daarvan begonnen de modellen te kijken naar A5: "Zie ik overal patronen in dingen?" Dit suggereert dat kinderen naarmate ze opgroeien leren hun sociale problemen te verbergen (maskeren), maar hun obsessie met patronen blijft zichtbaar.
De "Zekerheid"-valstrik: Eén model, AdaBoost, haalde een perfecte score voor het vinden van volwassenen, maar het was wild overmoedig en had het mis over hoe zeker het was. Het artikel zegt: "Vertrouw geen model dat zeker is, maar het mis heeft."

5. De winnaars (Wie moet je gebruiken?)

Het artikel zegt niet "Gebruik deze voor altijd". In plaats daarvan zegt het "Gebruik het juiste gereedschap voor de juiste klus":

Voor Volwassenen (in een perfecte, stille kamer): Een complex model genaamd TabTransformer werkt het beste.
Voor Volwassenen (in een lawaaierige, rommelige kamer): Een eenvoudiger model genaamd MLP is stabieler.
Voor Kids: Een model genaamd XGBoost is de kampioen.
Voor Tieners: Een "Foundation Model" genaamd TabPFN is het beste in het vinden van de schat, ook al is het een beetje fragiel. Als je wilt dat het bestand is tegen ruis, gebruik dan TabNet in plaats daarvan.

6. De grote waarschuwing (De "kleine lettertjes")

De auteurs zijn zeer voorzichtig om te zeggen: "Dit is een proof-of-concept, geen hulpmiddel voor medische diagnose."

De Data: Ze gebruikten een dataset waarbij mensen een vragenlijst invulden in een app. Het was geen arts die de diagnose bevestigde.
De Beperking: Omdat de data uit één specifieke app en één specifiek moment kwam, weten we niet of deze modellen zouden werken in een echt ziekenhuis in een ander land.
De Conclusie: Dit artikel is een kaart die ons laat zien hoe we betere detectoren kunnen bouwen en wat we moeten meten, maar de detectoren zelf zijn nog niet klaar om een arts te vervangen.

In het kort: De onderzoekers bouwden een strenge sportschool voor AI-modellen om hun kracht, balans en eerlijkheid te testen. Ze ontdekten dat kinderen, tieners en volwassenen verschillende puzzels zijn, en dat de beste AI voor één groep misschien de slechtste is voor een andere. Ze bewezen ook dat "nauwkeurig" zijn niet genoeg is; een medische AI moet ook eerlijk zijn over zijn zekerheid en sterk genoeg zijn om rommelige real-world data aan te kunnen.

Technische Samenvatting: ASD-Bench

Probleemstelling

Geautomatiseerde screeningstools voor Autisme Spectrumstoornis (ASS) lijden momenteel onder drie kritieke beperkingen:

Eén-as evaluatie: Vorige studies vertrouwen vaak op geïsoleerde metrieken (bijv. nauwkeurigheid of F1) en vergelijkingen van één architectuur, waarbij kalibratie, interpretatie en robuustheid worden verwaarloosd.
Leeftijdsongebonden benaderingen: Het meeste onderzoek richt zich uitsluitend op volwassenen of kindercohorten, waardoor leeftijdspecifieke diagnostische patronen worden verduisterd. Adolescenten blijven in het bijzonder onderbestudeerd, ondanks dat zij duidelijke hiërarchieën van kenmerken vertonen en een hogere classificatie-moeilijkheid.
Klinische misalignatie: Bestaande benchmarks houden vaak geen rekening met de asymmetrische kosten van klinische fouten (waarbij Valse Negatieven aanzienlijk duurder zijn dan Valse Positieven) en missen stabiliteitsmetrieken die vereist zijn voor implementatie op meerdere locaties.

Methodologie

De auteurs introduceren ASD-Bench, een systematisch tabulair benchmark dat 17 modelconfiguraties evalueert over vier distincte assen.

Dataset (v3)

De benchmark maakt gebruik van een samengestelde dataset van 4.068 records afkomstig uit twee bronnen: het UCI Machine Learning Repository (v1) en een aanvullende dataset van de Universiteit van Arkansas (v2). Na verwijdering van dubbele gegevens en kwaliteitscontrole zijn de data gestratificeerd in drie leeftijdsgroepen:

Kinderen (1–11 jr): 2.514 records.
Adolescenten (12–16 jr): 818 records.
Volwassenen (17–64 jr): 736 records.
De dataset bestaat uit binaire kenmerken afgeleid van de AQ-10 (Autism-Spectrum Quotient 10-item) vragenlijst en demografische variabelen.

Geëvalueerde Modellen

De studie evalueert vier categorieën modellen, waarbij elk getest wordt in basisconfiguraties en configuraties met hyperparameteroptimalisatie (via GridSearchCV):

Klassieke Ensembles: Logistische Regressie, Random Forest, AdaBoost, XGBoost.
Neurale Netwerken: Multi-Layer Perceptron (MLP).
Diepe Tabulaire Architecturen: TabNet, TabTransformer, FT-Transformer (allen gebruikmakend van Monte Carlo Dropout voor onzekerheidsschatting).
Fundamenteel Model: TabPFN v2 (een op voorafgaande data gefit netwerk dat contextueel leren uitvoert zonder gradiëntgebaseerde fijne afstelling).

Vier-assen Evaluatiekader

Voorspellende Prestaties: Standaard metrieken (Nauwkeurigheid, Precisie, Recall, F1, AUC-ROC).
Kalibratie/Onzekerheid: Expected Calibration Error (ECE), Brier Score en entropie.
Interpreteerbaarheid: Kenmerkgewicht via SHAP (Tree/Deep/Gradient Explainers), permutatie-importantie en ingebouwde maskers.
Adversariële Robuustheid: Prestaties onder Kenmerkomkeringen (10–30%), Gaussisch Ruis ( $\sigma \in \{0.1, 0.2, 0.3\}$ ) en Verwijdering van Kenmerken (top-k).

De HAP-metriek

De auteurs introduceren de Heuristic Aggregate Penalty (HAP), een kostengevoelige metriek ontworpen voor klinische implementatie. Deze omvat:

Asymmetrische Boetes: Een gewichtsverhouding van $w_{FN}:w_{FP} = 10:2$ (5:1), wat de hogere klinische kosten van het missen van een diagnose weerspiegelt.
Stabiliteitsboete: Een expliciete variantieterm ( $\lambda \cdot \text{Var}(C_k)$ ) afgeleid van een signaal-ruis criterium, die modellen straft met inconsistente prestaties over kruisvalidatie-vouwen heen.

Belangrijkste Resultaten

Voorspellende Prestaties

Volwassenen: De taak is sterk scheidbaar; 10 van de 17 modellen behaalden perfecte F1- en AUC-scores.
Kinderen: F1-scores varieerden van 0,864 tot 0,915. TabTransformer (Gefineerd) behaalde de hoogste F1 (0,915), terwijl TabPFN v2 de hoogste AUC behaalde (0,963).
Adolescenten: Deze groep presenteerde de moeilijkste taak, met een F1-plafond van 0,837 (tegenover 0,915 voor kinderen). TabPFN v2 leidde deze groep met een F1 van 0,837 en een AUC van 0,900.

Kalibratie en Robuustheid

Dissociatie van Metrieken: Hoge nauwkeurigheid garandeert geen kalibratie. Bijvoorbeeld, AdaBoost behaalde F1 = 1,000 bij volwassenen maar leed onder ernstige miscalibratie (ECE = 0,302).
Trade-off tussen Robuustheid en Nauwkeurigheid: Op transformer-gebaseerde modellen (TabTransformer, FT-Transformer) werden perfecte F1-scores behaald bij volwassenen, maar vertoonden ze significante degradatie (~24%) onder Gaussisch ruis. Omgekeerd toonden boom-gebaseerde modellen (Random Forest, XGBoost) een hogere robuustheid.
Robuustheid bij Adolescenten: Paradoxaal genoeg waren modellen robuuster op de adolescenten-groep (bijv. TabNet Baseline R = 0,980) ondanks lagere absolute nauwkeurigheid, wat suggereert dat er onder verstoringen soepelere beslissingsgrenzen zijn.

Kenmerkhierarchieën

De belangrijkheid van kenmerken verschilde aanzienlijk tussen de groepen, wat de noodzaak ondersteunt voor leeftijdspecifieke modellen:

Kinderen: Gedomineerd door A9 (Sociale motivatie/kletsen), die in 11 van de 17 modellen de eerste plaats innam.
Adolescenten: Er vond een volledige verschuiving in hiërarchie plaats; A5 (Patroonherkenning) werd het dominante kenmerk, terwijl A9 terugviel naar de 8e plaats.
Volwassenen: Toonden een vlak profiel van belangrijkheid zonder één dominant kenmerk, wat consistent is met ontwikkelingsgebonden sociale masking.

Betekenis en Beweringen

Het artikel positioneert ASD-Bench als een proof-of-concept kader in plaats van een klinisch gevalideerd diagnostisch hulpmiddel. De primaire bijdragen zijn:

Systematische Benchmarking: Het is de eerste studie die klassieke, diepe tabulaire en fundamentele modellen verenigt voor ASS-screening over drie distincte leeftijdsgroepen.
Innovatie in Klinische Metrieken: De introductie van HAP biedt een principiële methode voor het evalueren van modellen op basis van klinische kostenasymmetrie en implementatiestabiliteit, verder dan eenvoudige nauwkeurigheid.
Cohort-specifieke Inzichten: De bevindingen tonen aan dat een "one-size-fits-all" model onraadzaam is. De distincte kenmerkhierarchieën (sociaal versus cognitief-perceptueel) en variërende moeilijkheidsgraden (adolescenten zijn moeilijker) vereisen op maat gemaakte implementatiestrategieën.
Aanbevelingen voor Implementatie: De auteurs geven specifieke modelaanbevelingen op basis van het vier-assen scorebord (bijv. TabTransformer voor gecontroleerde volwassenomgevingen, TabPFN voor adolescenten waarbij nauwkeurigheid prioriteit heeft, en TabNet voor robuustheid).

Beperkingen Erkend door de Auteurs:

De dataset is gebaseerd op zelfgerapporteerde AQ-10 scores, niet op door een klinicus bevestigde diagnoses.
De grootte van de volwassen cohort (n=148 na verwijdering van dubbele gegevens) is klein, wat prestatie-metrieken mogelijk kan opblazen.
Er is geen externe of multi-site validatie uitgevoerd; de resultaten zijn interne benchmarkscores.
De vergelijking tussen gefineerde modellen en TabPFN is inherent asymmetrisch vanwege het ontbreken van fijne afstelling voor het fundamentele model.

De auteurs concluderen dat hoewel de resultaten veelbelovend zijn voor algoritmische ontwikkeling, ze interne benchmarkscores vertegenwoordigen en niet geïnterpreteerd moeten worden als bewijs van klinische diagnostische klaarheid in de echte wereld zonder prospectieve, multi-site validatie.