Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

Technische Samenvatting: Onderzoek naar de Robuustheid van een Modelselectieprocedure in het Binair Latent Blokmodel aan de Hand van een Taalplaatsingstestgegevensset

Probleemstelling
Het artikel behandelt de uitdaging om gegevens van plaatsingstests te analyseren, specifiek de SELF-test die wordt gebruikt aan de Université Grenoble Alpes, om studenten gelijktijdig te clusteren in homogene groepen op basis van vaardigheid en items in groepen op basis van moeilijkheidsgraad of vaardigheid. De gegevens worden weergegeven als een binaire matrix waarbij rijen corresponderen met studenten, kolommen met testitems en de waarden een correct (1) of incorrect (0) antwoord aangeven.

De kernmoeilijkheid ligt in de toepassing van Latente Blokmodellen (LBM) op deze binaire gegevens. Hoewel LBM gelijktijdige clustering van rijen en kolommen toelaat, is het selecteren van het juiste aantal rijgroepen ($g$) en kolomgroepen ($m$) niet triviaal. Standaardcriteria zoals AIC en BIC zijn niet direct toepasbaar omdat de gemaximaliseerde likelihood voor LBMs niet kan worden berekend. Bovendien zijn schattingsalgoritmen (zoals Variational EM of Gibbs-sampling) gevoelig voor beginwaarden en vatbaar voor convergentie naar lege clusters of lokale optima. De auteurs wijzen op een gebrek aan theoretische resultaten of niet-asymptotische concentratieongelijkheden voor modelselectiecriteria in deze specifieke context, wat een computationele benadering noodzakelijk maakt.

Methodologie
De auteurs stellen een modelselectieprocedure voor die gebaseerd is op het Integrated Completed Likelihood (ICL)-criterium, uitgebreid voor binaire latent blokmodellen. De methodologie omvat drie hoofdcomponenten:

1. Schattingsalgoritme: De studie maakt gebruik van een gecombineerd V-Bayes Gibbs-algoritme. Deze aanpak maakt gebruik van een Variational Bayes-benadering om lege groepen te voorkomen en een Gibbs-sampler om de gevoeligheid voor beginwaarden te verminderen. Het algoritme wordt $T$ keer (initialisaties) uitgevoerd voor elk kandidaatpaar van $(g, m)$, waarbij de oplossing die de vrije energie maximaliseert, wordt behouden.
2. Modelselectie: De procedure itereren over een rooster van mogelijke $(g, m)$-paren. Voor elk paar wordt het ICL-criterium berekend met behulp van de partitie $(\hat{z}, \hat{w})$ die via de Maximum A Posteriori (MAP)-regel wordt verkregen na de laatste V-Bayes-stap. Het paar $(\hat{g}, \hat{m})$ dat het ICL maximaliseert, wordt geselecteerd als het optimale model.
3. Robuustheidsanalyse: De robuustheid van de procedure wordt op twee manieren geëvalueerd:
   • Initialisatieafstemming: Bepalen van het benodigde aantal initialisaties ($T$) om het ware model betrouwbaar te herstellen, getest via simulatie en echte gegevens.
   • Stabiliteit Steekproefomvang: Beoordelen van de stabiliteit van de studentgroeperingen naarmate de steekproefomvang ($n$) varieert. Dit houdt in dat subsamples van studenten worden gesimuleerd en de resulterende partities worden vergeleken met een referentiemodel met behulp van misclassificatiesnelheden en contingentietabellen met aanpassingen voor labelswapping.

Gegevenssets
De studie maakt gebruik van twee real-world datasets van de SELF-plaatsingstest:

• Japans Test: 137 studenten, 33 items (eerste fase).
• Engels Test: 228 studenten, 36 items (eerste fase).
  Beide datasets omvatten drie vaardigheden: mondelinge vaardigheid, schriftelijke vaardigheid en schriftelijke expressie.

Belangrijkste Resultaten

• Gevoeligheid voor Initialisatie: Het vereiste aantal initialisaties ($T$) hangt sterk af van de "moeilijkheid" van de dataset.
  • In de Japans dataset (beschouwd als een "makkelijk" geval) werd het referentiemodel $(3, 4)$ gevonden in 100% van de 170.000 runs met een enkele initialisatie ($T=1$). De inter-aankomsttijden voor het referentiemodel waren allemaal gelijk aan 1.
  • In de Engels dataset (een "moeilijk" geval) werd het referentiemodel $(4, 5)$ slechts 16 keer gevonden in 170.000 runs. De mediale inter-aankomsttijd was 6.595,5, wat suggereert dat honderden of duizenden initialisaties nodig zijn om het optimale model betrouwbaar te vinden in complexe scenario's.
  • Simulatiestudies bevestigden dat voor lage ruisniveaus ($\epsilon \leq 0,25$), $T=1$ vaak voldoende is, maar naarmate de ruis toeneemt ($\epsilon = 0,3$), verschuift de verdeling van $T$ significant naar hogere waarden.
• Robuustheid ten opzichte van Steekproefomvang:
  • Naarmate het aantal studenten ($n$) toeneemt, convergeert het geselecteerde aantal groepen $(\hat{g}, \hat{m})$ naar het referentiepaar.
  • De snelheid van verkeerd geclassificeerde studenten neemt af naarmate $n$ toeneemt wanneer het juiste aantal groepen wordt geselecteerd.
  • Voor kleinere steekproefgroottes en hogere ruisniveaus wordt de verdeling van geselecteerde modellen meer verspreid, hoewel deze toch de neiging heeft zich te concentreren rond het referentiepunt naarmate $n$ groeit.
• Parameter Schattingen: In de Engels dataset onthulden de geschatte parameters één itemgroep waarbij de waarschijnlijkheid van een correct antwoord vergelijkbaar was voor alle studentgroepen. De auteurs suggereren dat dit wijst op ruisachtige of irrelevante kenmerken die een zinvolle co-clustering kunnen belemmeren.

Betekenis en Beweringen
Het artikel beweert een praktisch, computationeel kader te bieden voor het afstemmen van modelselectie in binaire latent blokmodellen waar theoretische garanties ontbreken. De primaire bijdrage is de demonstratie dat het aantal algoritme-initialisaties moet worden aangepast aan de specifieke moeilijkheid van de dataset; een "one-size-fits-all"-benadering is ontoereikend.

De auteurs concluderen bescheiden dat hoewel de procedure robuust is wat betreft groepsstabiliteit naarmate de steekproefomvang toeneemt, deze kan worstelen met datasets die ruisachtige kenmerken bevatten (items met uniforme successkansen). Als toekomstig perspectief suggereren zij dat het opnemen van een "ruisklasse" in het latent blokmodel (zoals voorgesteld door Laclau en Brault) de resultaten zou kunnen verbeteren door items te isoleren die niet bijdragen aan de studentclassificatie, wat potentieel kan helpen bij de verfijning van plaatsingstests. Het werk claimt niet de theoretische identificeerbaarheidsproblemen op te lossen, maar biedt een gevalideerde computationele strategie voor praktici die te maken hebben met gegevens van plaatsingstests.