Training data generation for context-dependent rubric-based short answer grading

Probleemstelling

De kern van dit onderzoek ligt in het gebrek aan toegang tot hoogwaardige, domeinspecifieke trainingsdata voor het automatiseren van het beoordelen van korte, open antwoorden (Short Answer Grading). Hoewel er veel publieke data beschikbaar is, zijn de meest waardevolle datasets (zoals die van de PISA-toetsen van de OECD) beperkt door privacywetgeving en intellectuele eigendomsrechten.

• De uitdaging: Om robuuste beoordelingsmodellen te trainen, zijn grote hoeveelheden data nodig met diverse vraagtypes, contexten en gedetailleerde beoordelingsrubrieken (rubrics).
• De beperking: De auteurs hadden wel toegang tot een vertrouwelijke PISA-dataset, maar vanwege een geheimhoudingsverklaring (NDA) mochten deze data niet direct worden gepubliceerd of gedeeld. Het genereren van volledig synthetische data zonder verwijzing naar de bron leidt echter vaak tot data die niet representatief genoeg is voor de echte verdeling.

Methodologie

De auteurs hebben een pipeline ontwikkeld om een groot, open "proxy-dataset" te genereren dat statistisch lijkt op de vertrouwelijke bron, zonder de vertrouwelijke data zelf te onthullen.

1. Generatie van Synthetische Kandidaten
Er werd een multi-stadia proces gebruikt, aangedreven door Large Language Models (LLMs, specifiek GPT OSS 120b), om een grote verzameling synthetische data te creëren:

• Context: Tekstfragmenten (150-800 woorden) werden geëxtraheerd van openbare websites en opgeschoond.
• Vragen: LLMs genereerden open vragen die uitsluitend op basis van de context beantwoord konden worden, met focus op logisch inzicht in plaats van feitelijke herinnering.
• Beoordelingsrubrieken (Rubrics): Er werden rubrieken gegenereerd voor drie niveaus: vol credit, gedeeltelijk credit en geen credit. Een "judge"-LLM beoordeelde of deze rubrieken consistent en onduidelijk waren.
• Antwoorden: Er werden kandidaat-antwoorden gegenereerd die specifiek aansloten bij de rubrieken (inclusief typische fouten van middelbare scholieren). Ook hier fungeerde een judge-LLM als filter.

2. Feature Extractie
Om de synthetische data te laten lijken op de vertrouwelijke OECD-data, werden voor elk datapunt diverse linguïstische en semantische features berekend. Deze omvatten:

• Cosine-ähnlichkeit van dense embeddings (BAAI/bge-m3) tussen context, vraag, antwoord en rubriek.
• N-gram recall en Jaccard-similariteit (unigrams en bigrams).
• TF-IDF cosine similariteit.
• Woordlengte en lexicale dichtheid.

3. Data Selectie (Optimal Subset Selection)
Drie methoden werden getest om de beste subset van de synthetische data te selecteren die het dichtst bij de verdeling van de vertrouwelijke data ligt:

• Methode 1: Selectie van de 5% meest vergelijkbare samples op basis van de L2-afstand tot het gemiddelde van de OECD-data per klasse.
• Methode 2: Een verfijning van Methode 1 die domeindiversiteit probeert te behouden en gebruikmaakt van k-means clustering (8 clusters) in plaats van één globaal gemiddelde.
• Methode 3: Een meer rigoureuze aanpak die de "onverminderde" features gebruikt. In plaats van afstandsmetingen, wordt de rangorde van de 5 dichtstbijzijnde referentiedata-punten gebruikt om een score te berekenen. Deze methode maakt minder gebruik van gereduceerde statistieken.

Belangrijkste Bijdragen

• Nieuwe aanpak voor datageneratie: Het paper presenteert een methode om een groot trainingsdataset te creëren vanuit een kleine, vertrouwelijke dataset, waarbij de integriteit van de NDA wordt gewaarborgd door gebruik te maken van afgeleide tekstformaten (DTF's) en feature-matching.
• Vergelijking van selectiemethoden: Het biedt een empirische vergelijking van verschillende strategieën voor dataset-condensatie (subset selection) in de context van rubric-based grading.
• Openbaar Proxy-Dataset: De auteurs hebben een volledig gegenereerd dataset en de code voor subsampling beschikbaar gesteld via GitHub, wat reproduceerbaarheid bevordert voor onderzoekers zonder toegang tot de originele PISA-data.

Resultaten

De resultaten werden geëvalueerd via drie experimenten (E1: few-shot accuracy, E2: modelselectie, E3: training van een klein model):

• Methode 1 & 2: Deze methoden, die gebruikmaken van gereduceerde features (gemiddelden en clusters), leverden geen significante verbetering op. In sommige gevallen presteerden modellen getraind op deze subsets slechter dan op willekeurige subsets of de volledige dataset. De features bleken niet expressief genoeg om de complexe bias van de dataset te compenseren.
• Methode 3 (De winnaar): Deze methode, die directer gebruikmaakte van de features zonder ze te reduceren tot één gemiddelde, toonde statistisch significante resultaten.
  • Bij training van een klein model (ModernBERT-base) op de geselecteerde data werd een gemiddelde accuraciesverbetering van 0,0206 (en later 0,0116 bij herhaling) waargenomen ten opzichte van een willekeurige subsample.
  • De Wilcoxon signed-rank test leverde een p-waarde van 0,00091 (en 0,00102 bij herhaling), wat significant lager is dan de drempel van 0,05. Dit bevestigt dat de selectie methode 3 effectief is.

Betekenis en Conclusie

Het paper concludeert dat het genereren van proxy-data voor vertrouwelijke domeinen mogelijk is, maar dat de keuze van de selectiemethode cruciaal is. Simpele statistische matching (gemiddelden) is vaak onvoldoende. De meest veelbelovende richting is het gebruik van meer expressieve feature-sets en selectie-algoritmen die de onderliggende structuur van de data beter vastleggen zonder individuele datapunten te onthullen.

De bevindingen suggereren dat deze aanpak potentieel heeft voor het trainen van betere beoordelingsmodellen in domeinen waar data-privacy een grote barrière vormt, hoewel verdere validatie op diverse modellen en datasets noodzakelijk is. De auteurs benadrukken dat hun werk geen door LLM's gegenereerde tekst bevat in de kern van het paper, maar wel LLM's gebruikte voor de data-generatie en grammaticacontrole.