T2MM: An LLM Supported Architecture For Inquiry-Based Modeling

Technische Samenvatting: T2MM – Een door LLM ondersteunde architectuur voor onderzoekend modelleren

Probleemstelling
Modelconstructie is een fundamentele praktijk in wetenschappelijk leren en onderzoekend onderwijs, waarbij leerlingen conceptuele modellen moeten visualiseren, ermee moeten interageren en deze iteratief moeten verfijnen. Hoewel Large Language Models (LLM's) zijn geïntegreerd in educatieve contexten voor onderwerpen zoals programmeren en schrijven, heeft hun toepassing in wetenschappelijk leren grotendeels de voorkeur gegeven aan tekstuele interactie vanwege de technische uitdagingen bij het genereren van interactieve, multimodale outputs. Bestaande multimodale architecturen voor het onderwijs schieten vaak tekort in het ondersteunen van de noodzakelijke meerstapsinteractiviteit of kampen met technische beperkingen bij het genereren van dynamische visualisaties. Specifiek hebben systemen die vertrouwen op volledige codegeneratie (bijv. het vanaf nul genereren van volledige XML- of codeblokken) vaak een gebrek aan contextbewustzijn van de huidige modelstatus, wat leidt tot fouten in complexe, ontologie-specifieke omgevingen zoals software voor wetenschappelijk modelleren.

Methodologie
De auteurs stellen Text to Multimodal Model (T2MM) voor, een robuuste architectuur ontworpen om leerlingen te ondersteunen bij het construeren van modellen binnen VERA (Virtual Experimental Research Assistant), een op ecologie gebaseerd platform voor conceptueel modelleren en simulatie.

• Architectuurontwerp:
  T2MM werkt via een drie-componentenlus:

1. VERA-systeem: De leerling interageert via een chatinterface. Het systeem haalt de huidige status van het model op (gerepresenteerd als XML in de VERA-database) en zet dit om in een minimaal JSON-formaat.
2. LLM-systeem (ChatGPT-4.1-mini): Het systeem stuurt de huidige model-JSON, de natuurlijke taalvraag van de leerling en een prompt die de VERA-ontologie en N-shot voorbeelden bevat naar de LLM. Cruciaal is dat de LLM niet wordt gevrawd om de uiteindelijke modelcode of XML te genereren. In plaats daarvan genereert het een reeks acties (bijv. "Maak Node aan", "Bewerk Relatie", "Verwijder Node") die nodig zijn om de huidige status te transformeren naar de doelstatus.
3. Action Sequence Parser & API: De gegenereerde actiesequenties worden gevalideerd tegen de VERA-ontologie om logische consistentie te waarborgen (bijv. het voorkomen dat een abiotische node een biotische node consumeert). Gecureerde acties worden gekoppeld aan specifieke VERA API-aanroepen (bijv. addNode(), updateParameter()), die de database bijwerken en de wijzigingen in realtime op de frontend renderen.

• Evaluatiestrategie:
  Om de technische haalbaarheid te meten, hebben de auteurs een aangepaste, procedureel gegenereerde dataset van 975 paren van natuurlijke taalverzoeken en doelmodellen gemaakt. Deze waren afgeleid van expert biologie-modellen, gedecomposeerd in diverse stadia van creatie en algoritmisch gemodificeerd.
  De T2MM-architectuur werd vergeleken met twee baselines die vertrouwen op volledige codegeneratie:
• 0-Shot: De LLM genereert direct XML zonder voorbeelden.
• N-Shot: De LLM genereert direct XML met few-shot voorbeelden van model/verzoek/XML-triples.

Prestaties werden geëvalueerd aan de hand van vier metrieken:

1. Compilatiesucces: Of de gegenereerde output zonder fouten kon worden geparsed en geladen in VERA.
2. Graph Edit Distance: Het structurele verschil tussen het gegenereerde model en het doelmodel (0 duidt op een perfecte match; -1 duidt op een compilatiefout).
3. Succes per verzoeksgrootte: Prestaties in relatie tot de lengte van de vereiste actiesequentie.
4. Succes per type verzoek: Prestaties over "Maak Model" (vanaf nul), "Bewerk Model" (modificeren van bestaand) en "Verander Parameter" taken.

Belangrijkste Resultaten

• Compilatie: T2MM behaalde een compilatiesucces van 100%, terwijl de 0-Shot baseline in 3,38% van de gevallen faalde en de N-Shot baseline in 0,3 matter in 0,31% van de gevallen.
• Structurele Nauwkeurigheid: T2MM presteerde significant beter dan de baselines wat betreft structurele correctheid. De gemiddelde Graph Edit Distance voor T2MM was 0,298, vergeleken met 1,638 voor 0-Shot en 3,572 voor N-Shot. De N-Shot architectuur introduceerde frequent willekeurige parametervariaties en slaagde er niet in de structurele integriteit te behouden.
• Complexiteit afhandeling: T2MM toonde een sterk vermogen om modellen te bouwen die vijf acties vereisen. Succespercentages daalden voor langere sequenties (onder de 4% voor acht acties), maar bleven superieur aan de baselines.
• Prestaties per Taaltype:
  • Modelcreatie (vanaf nul): T2MM behaalde een nauwkeurigheid van 79,38%. In schril contrast hiermee faalde de 0-Shot architectuur in 100% van de gevallen, en N-Shot slaagde in slechts 8,31% van de gevallen.
  • Bewerken/Parameterwijzigingen: Beide baselines presteerden beter op deze taken dan op volledige creatie, wat suggereert dat codegeneratie-architecturen zwaar leunen op de bestaande XML-context om de output correct te formatteren.

Betekenis en Bijdragen
Het artikel beweert dat T2MM de eerste AI-in-Education architectuur is die gebruikmaakt van door LLM gegenereerde actiesequenties, gegrond in een live leerlingmodelstatus om interactief conceptueel modelleren te ondersteunen.

• Verschuiving van Resultaat naar Actie: De primaire bijdrage is de architecturale verschuiving van het vragen aan LLM's om volledige, statische representaties (XML/Code) te genereren naar het genereren van compacte, actiegerichte stappen. Deze aanpak verzacht de risico's op "hallucinaties" geassocieerd met het genereren van grote hoeveelheden tekst en zorgt ervoor dat de output consistent blijft met de ontologie van het systeem.
• Faciliteren van de Onderzoekscyclus: Door te garanderen dat modellen interactief blijven en responsief zijn voor handmatige aanpassingen, ondersteunt T2MM de iteratieve "cyclus van onderzoek" (hypothesegeneratie, testen, evaluatie) die essentieel is voor wetenschappelijk leren, iets wat statische beeldgeneratie of onbetrouwbare codegeneratie niet kan ondersteunen.
• Reductie van Cognitieve Belasting: De auteurs suggereren dat door de technische constructie van complexe modellen te automatiseren, T2MM de cognitieve belasting van leerlingen kan verminderen, waardoor zij zich kunnen concentreren op het wetenschappelijke onderzoeksproces in plaats van op de mechanica van de modelleringswerktuig.

Beperkingen
De auteurs erkennen dat de architectuur momenteel specifiek is voor de VERA-ontologie en de XML-gebaseerde modelstructuur, wat vragen oproept over de generaliseerbaarheid naar andere wetenschappelijke leeromgevingen zonder vergelijkbare API's. Bovendien was de evaluatie beperkt tot structurele correctheid (graph editing) en bevatte het geen kwalitatieve beoordelingen van visuele representatie of real-world gebruikersstudies met daadwerkelijke leerlingen. Er wordt voorgesteld om deze hiaten in toekomstig werk aan te pakken, inclusief expert-evaluaties van visuele aspecten en testen met natuurlijke leerlingverzoeken.