Evaluating LLM-Generated Lessons from the Language Learning Students' Perspective: A Short Case Study on Duolingo

Titel: Evaluatie van door LLM gegenereerde lessen vanuit het perspectief van taalstudenten: Een korte case study over Duolingo

Auteurs: Carlos Rafael Catalan, Patricia Nicole Monderin, Lheane Marie Dizon, Gap Estrella, Raymund John Sarmiento, en Marie Antoinette Patalagsa (Samsung R&D Institute Philippines).

---

1. Probleemstelling

Taalleerapplicaties zoals Duolingo maken gebruik van Large Language Models (LLM's) om lessen te genereren die zich voornamelijk richten op algemene, real-world scenario's (bijv. begroetingen, eten bestellen, vragen om weg). Er is echter een significante kloof in de ondersteuning voor professionele contexten.

Studenten die in multinationale en meertalige omgevingen werken, hebben behoefte aan "professionele vlotheid". Dit wordt gedefinieerd als het vermogen om comfortabel werkgerelateerde en domeinspecifieke informatie in de doeltaal te communiceren. De huidige generieke lessen dekken deze technische of professionele scenario's (zoals het bespreken van projectspecificaties of het onderhandelen over deadlines) vaak niet, wat de overgang naar professionele vlotheid belemmert.

2. Methodologie

De auteurs voerden een formatieve studie uit om de ervaringen van gebruikers met AI-genereren lessen van Duolingo te evalueren.

• Deelnemers: Vijf respondenten, allemaal software-engineers die werken voor een multinationale onderneming in de Filipijnen en deelnemen aan een Koreaanse taalcursus.
• Instrument: Een enquête (via Qualtrics) die de volgende aspecten onderzocht:
  • Gebruiksfrequentie van Duolingo.
  • Hoe vaak ze algemene versus werkgerelateerde scenario's tegenkwamen.
  • De impact van deze scenario's op hun leerervaring en het bereiken van professionele vlotheid.
  • Specifieke suggesties voor lesinhoud die hen zou helpen bij het behalen van professionele communicatievaardigheden.
• Theoretisch Kader: De studie baseert zich op Intelligent Tutoring Systems (ITS) en de Communicative Competence Theory van Hymes, die stelt dat taalgebruik niet alleen grammaticaal correct moet zijn, maar ook contextueel en sociaal passend moet zijn.

3. Belangrijkste Bijdragen

• Empirische Evaluatie: Een van de eerste studies die specifiek kijkt naar de perceptie van gebruikers over LLM-genereren lessen in een professionele context.
• Definitie van Professionele Vlotheid: Het paper formaliseert het concept van professionele vlotheid als een noodzakelijke stap naast algemene taalvaardigheid voor werknemers in multinationale bedrijven.
• Ontwerprichtlijnen: Het biedt concrete richtlijnen voor de ontwikkeling van taalleertechnologieën die beter inspelen op individuele professionele behoeften.

4. Resultaten en Bevindingen

De analyse van de enquêteresultaten leverde drie hoofdvinden op:

1. Algemene scenario's zijn essentieel voor de basis:

   • Respondenten rapporteerden dat algemene scenario's (begroetingen, dagelijks leven) vaker voorkomen en zeer waardevol zijn voor beginners.
   • Deze scenario's helpen bij het opbouwen van fundamentele grammatica, vocabulaire en culturele kennis omdat ze herkenbaar en relatief eenvoudig zijn.
   • De huidige implementatie in Duolingo voldoet goed aan deze basisbehoefte.

2. Werkgerelateerde scenario's dichten de vlotheidskloof:

   • Werkgerelateerde scenario's werden veel minder vaak aangetroffen; één respondent gaf zelfs aan er nog nooit een te hebben gezien.
   • Voor diegenen die ze wel tegenkwamen, werden ze gezien als cruciaal om de kloof tussen "beginner" en "professioneel" te dichten.
   • Er is een gemiste kans: een software-engineer gaf aan dat hij/zij geen scenario's met technische jargon (zoals CI/CD-pipelines, user interface, defects) tegenkwam, wat de leerkloof voor professionele communicatie vergrootte.
   • Respondenten merkten op dat werkgerelateerde lessen pas effectief zijn nadat de basis uit algemene lessen is gelegd.

3. Behoefte aan personalisatie:

   • De suggesties voor nieuwe lesinhoud waren zeer divers (van onderhandelen over deadlines tot reizen naar het doeltaalland).
   • Dit toont aan dat er geen "one-size-fits-all" oplossing is. De huidige personalisatie in Duolingo (via het "Birdbrain"-systeem) past alleen de moeilijkheidsgraad aan, maar niet de inhoud of het domein van de lessen op basis van de individuele doelen van de gebruiker.

5. Significantie en Toekomstvisie

Het paper concludeert dat taalleerapplicaties een hybride aanpak moeten adopteren:

• Behoud van generieke, relatabele scenario's voor het opbouwen van fundamentele vaardigheden.
• Integratie van gepersonaliseerde, domeinspecifieke scenario's die aansluiten bij de professionele achtergrond en leerdoelen van de gebruiker.

Toekomstig werk:
De auteurs plannen om een LLM te fine-tunen voor de technologie-industrie om lessen te genereren die specifiek gericht zijn op software-engineers. Dit zal worden getest in een langetermijn-studie met drie groepen: een controlegroep, een groep die Duolingo gebruikt, en een groep die de aangepaste LLM gebruikt. Het uiteindelijke doel is een agente intelligent taal-tutorsysteem dat dynamisch kan aanpassen aan de veranderende context, doelen en omgeving van de gebruiker.

Conclusie:
Hoewel LLM's uitstekend zijn in het genereren van fundamentele taallessen, is er een dringende noodzaak voor systemen die de context van de gebruiker begrijpen en lessen kunnen genereren die direct toepasbaar zijn in hun professionele praktijk, zodat ze niet alleen grammaticaal correct, maar ook professioneel competent worden.