Can We Improve Educational Diagram Generation with In-Context Examples? Not if a Hallucination Spoils the Bunch

Technische Samenvatting: Verbeteren van de Generatie van Educatieve Diagrammen met In-Context Voorbeelden

Probleemstelling
Generatieve kunstmatige intelligentie (AI) wordt steeds vaker ingezet in het computereducatieonderwijs voor het produceren van instructiemateriaal, inclusief diagrammen. De kwaliteit van deze outputs blijft echter een aanzienlijke zorg voor docenten en studenten. Bestaande methoden voor het genereren van diagramcode, zoals entiteit/relatie-extractie of standaard in-context leren (ICL), kampen vaak met verbositeit, een matige lay-outkwaliteit en, het meest kritisch, hallucinaties. Hallucinaties in Large Language Models (LLMs) worden gedefinieerd als afwijkingen van de verstrekte inputcontext of feitelijke kennis, gecategoriseerd in factualiteit (het tegenspreken van wereldkennis of het fabriceren van onverifieerbare feiten) en getrouwheid (afwijken van gebruikersinstructies of de inputcontext). Empirisch onderzoek wijst uit dat hallucinatiepercentages kunnen variëren van 3% tot 86%, zelfs bij de best presterende modellen. De kernuitdaging die hier wordt aangepakt, is de generatie van betrouwbare, hoogwaardige educatieve diagrammen die strikt voldoen aan de brontekstcontexten zonder foutieve feiten of logische inconsistenties te introduceren.

Methodologie
De studie stelt een nieuwe ICL-methode voor voor het genereren van diagramcode (specifiek in de dot-syntax van Graphviz) die gebruikmaakt van Rhetorical Structure Theory (RST) om relevante in-context voorbeelden te selecteren. De aanpak is gebaseerd op het uitgangspunt dat RST, dat tekstcoherentie analyseert via hiërarchische relaties tussen "elementary discourse units" (EDUs), LLMs kan begeleiden bij het visualiseren van coherentierelaties die overeenkomen met de verwachtingen van de gebruiker.

De voorgestelde pijplijn bevat twee varianten, RST1 en RST2, die worden vergeleken met een zero-shot (0-shot) baseline:

1. RST-analyse (Stap 1): Het LLM analyseert de brontekst om EDUs en hun retorische relaties (nuclei en satellieten) te identificeren op basis van de annotatierichtlijnen van Stede et al. Deze stap wordt overgeslagen in de 0-shot baseline.
2. Gelijkeniszoekopdracht (Stap 2): Het systeem vergelijkt de gegenereerde RST-analyse met een vooraf gemaakte woordenlijst van vier voorbeeld tekst-analyse-diagram triplets. Het model selecteert het voorbeeld waarvan de RST-structuur het meest overeenkomt met de input.
3. Voorbeeldbouw (Stap 3):
   • RST1: Gebruikt de brontekst en de bijbehorende diagramcode van het geselecteerde voorbeeld.
   • RST2: Gebruikt de RST-analyse en de bijbehorende diagramcode van het geselecteerde voorbeeld.
4. ICL-generatie (Stap 4): Het model genereert de initiële diagramcode met behulp van het geselecteerde voorbeeld als demonstratie.
5. Herstel en Verfijning (Stappen 5–7): De gegenereerde code ondergaat een iteratief herstelproces om syntactische fouten te herstellen totdat deze rendert. Een daaropvolgende verfijningsstap (Stap 6) vraat het model om de esthetiek van de lay-out te verbeteren (bijv. het verminderen van kruisende lijnen, het waarborgen van symmetrie) op basis van een specifieke rubriek, gevolgd door een laatste herstelcyclus.

De studie maakte gebruik van GPT-4o en o3 modellen, waarbij deze werden getest op 25 bronteksten gecategoriseerd naar moeilijkheidsgraad (basis, gemiddeld, gevorderd). In totaal werden 150 diagrammen gegenereerd en geëvalueerd.

Belangrijkste Bijdragen

1. RST-gebaseerde ICL-methode: De auteurs stellen een nieuwe methode voor en evalueren deze voor het selecteren van in-context demonstraties voor diagramcode-generatie op basis van RST-analyse, met als doel context-inconsistenties en hallucinaties te verminderen in vergelijking met zero-shot generatie.
2. Evaluatierubriek: Er is een vijfpuntsrubriek ontwikkeld om de kwaliteit van diagrammen te beoordelen over drie dimensies:
   • Logische Organisatie (C1): Flow, structuur, taalhelderheid en naleving van conventies.
   • Connectiviteit (C2): Uniformiteit en cohesie van verbindingen (bijv. de afwezigheid van orphan nodes).
   • Lay-out Esthetiek (C3): Aanwezigheid van problemen zoals kruisende lijnen, obscuratie van elementen, asymmetrie en uitlijningsfouten.
3. Hallucinatie-analyse: Een diepgaand onderzoek naar de relatie tussen AI-hallucinatie (zowel factueel als getrouwheid) en diagramkwaliteit, inclusclusief de propagatie van fouten door meerstaps-generatiepijlines.

Resultaten

• Modelprestaties: Het o3-model presteerde consequent beter dan GPT-4o over alle methoden en metrieken, wat suggereert dat modellen met sterkere redeneercapaciteiten meer profiteren van deze aanpak.
• Effectiviteit van de Methode:
  • RST1 met o3 produceerde de hoogste ratio van hoogwaardige diagrammen (scores > 3) voor logische organisatie (C1).
  • RST2 presteerde over het algemeen slechter dan RST1 en 0-shot voor connectiviteit (C2), waarschijnlijk door de complexiteit van het verwerken van door LLM gegenereerde RST-analyses als input.
  • De RST-gebaseerde methoden verminderden over het algemeen de mate van factuele hallucinaties en verbeterden de getrouwheid aan de inputcontext vergeleken met zero-shot generatie.
• Hallucinatiebevindingen:
  • Ondanks het gebruik van geverifieerde bronteksten bevatten tot 20% van de door AI gegenereerde diagrammen factuele hallucinaties.
  • Contextcomplexiteit: Hogere complexiteit in bronteksten (gevorderd niveau) correleerde met hogere hallucinatiepercentages en lagere diagramkwaliteitsscores.
  • Foutpropagatie: In de RST2-pijline werden hallucinaties uit de initiële RST-analyse (Stap 1) of de gelijkeniszoekopdracht (Stap 2) frequent overgenomen door de uiteindelijke diagramoutput.
  • Beperkingen van Zelfcorrectie: LLM's hadden moeite met het detecteren en herstellen van hun eigen lay-outfouten; de verfijningsstap (Stap 6) faalde vaak in het elimineren van hallucinaties of introduceerde nieuwe lay-outproblemen.
• Geautomatiseerde Evaluatie: Geautomatiseerde beoordeling met behulp van LLM's (E1, E2, E3 methoden) vertoonde een matige alignment met menselijke evaluaties, waarbij instructie-gebaseerde reflectie (E3) en gecombineerde instructie/ICL (E2) de beste resultaten boden, met name bij het o3-model.

Betekenis en Claims
Het artikel claimt dat de voorgestelde RST-gebaseerde ICL-methode een veelbelovende weg biedt voor het verbeteren van de betrouwbaarheid van automatisch gegenereerde educatieve diagrammen door de outputs van modellen af te stemmen op de verwachtingen van de gebruiker en context-inconsistenties te verminderen. De auteurs houden echter een bescheiden standpunt en erkennen dat de stochastische aard van LLM's leidt tot variabele kwaliteit en dat meerstaps-pijlines risico's op foutpropagatie met zich meebrengen.

De studie concludeert dat hoewel de voorgestelde methode de factuele hallucinatie vermindert en de getrouwheid verbetert, het geen volledige oplossing is. De auteurs benadrukken dat vanwege het hardnekkige risico op hallucinatie, de toepassing van generatieve AI in educatieve contexten noodzakelijke waarborgen vereist om belangrijke belanghebbenden (docenten en studenten) te beschermen. Ze stellen expliciet dat verder empirisch onderzoek vereist is om de LLM-stochasticiteit volledig te kunnen verklaren en dat hun huidige implementatie, die gebruikmaakt van een beperkte set voorbeelden, niet alle bestaande coherentierelaties omvat.