Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale

Dit paper introduceert Sandpiper, een hybride systeem dat interactieve dashboards en geagenteerde grote taalmodellen combineert om kwalitatieve analyse van educatieve discussies op grote schaal mogelijk te maken zonder in te leveren op methodologische nauwkeurigheid, privacy of betrouwbaarheid.

De kern

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken, zitten er duizenden gesprekken in. Dit zijn gesprekken tussen leraren en leerlingen, of tussen studenten die samenwerken. Deze gesprekken zijn goud waard voor onderzoekers omdat ze laten zien hoe mensen leren. Maar er is een groot probleem: er zijn te veel gesprekken om één voor één te lezen.

Vroeger moesten onderzoekers deze gesprekken handmatig lezen en met potloodjes coderen (bijvoorbeeld: "hier was een goede uitleg" of "hier was verwarring"). Dit is als proberen een hele oceaan leeg te scheppen met een theelepel. Het kost enorm veel tijd, is vermoeiend, en vaak stoppen mensen halverwege omdat ze moe worden.

Sandpiper is de oplossing voor dit probleem. Het is een slim digitaal hulpmiddel dat werkt als een super-efficiënte assistent, maar dan met een belangrijke twist: de mens blijft de baas.

Hier is hoe Sandpiper werkt, vertaald naar alledaagse beelden:

1. De Slimme Assistent (De AI)

Stel je voor dat je een zeer intelligente, maar soms wat ongeduldige stagiair hebt die heel snel kan lezen. Deze stagiair (de AI) kan duizenden gesprekken in een seconde doorzoeken. Maar deze stagiair heeft een slechte gewoonte: soms verzint hij dingen die niet waar zijn (dit noemen onderzoekers "hallucinaties") of hij maakt fouten in zijn verslag.

Sandpiper lost dit op door de stagiair niet alleen te laten werken, maar hem strakke regels te geven.

• De Analoge: Het is alsof je de stagiair een heel specifiek invulformulier geeft. Hij mag niet zomaar wat schrijven; hij moet precies invullen wat er in de vakjes staat. Als hij iets verzonnen of fout invult, krijgt hij het formulier direct teruggestuurd met de opdracht: "Probeer het opnieuw, maar volg de regels." Pas als het perfect is, mag hij het afgeven.

2. De Privé-Beschermer (Veiligheid)

Omdat het gaat over leerlingen en leraren, is privacy heel belangrijk. Je kunt niet zomaar namen en geboortedata naar een openbare computer sturen.

• De Analoge: Sandpiper werkt als een geheime poortwachter. Voordat de gesprekken de "stagiair" bereiken, verwijdert deze poortwachter automatisch alle namen en herkenningspunten (zoals "Jan" wordt "Leerling 1"). Pas als de data veilig en anoniem is, gaat het naar de AI. En als het klaar is, komt het terug bij de onderzoeker, die kan controleren of alles nog steeds veilig is.

3. De Kwaliteitscontroleur (Betrouwbaarheid)

De grootste kracht van Sandpiper is dat het niet blindelings vertrouwt op de AI.

• De Analoge: Stel je voor dat je een team hebt van een robot en een menselijke expert. De robot doet het zware werk (het scannen van duizenden pagina's), maar de menselijke expert kijkt er af en toe op. Sandpiper heeft een dashboard (een soort controlepaneel) waar de onderzoeker direct kan zien: "Hoe goed deed de robot het?"
  • Als de robot 90% van de tijd gelijk heeft met de mens, is dat goed.
  • Als de robot fouten maakt, kan de onderzoeker de instructies (de "regels" voor de robot) aanpassen en het proces opnieuw starten. Het is een samenwerking, geen vervanging.

Waarom is dit belangrijk?

Vroeger moesten onderzoekers kiezen: of ze doen een klein, diepgaand onderzoek (maar dan missen ze de grote trends), of ze doen een groot onderzoek (maar dan is het oppervlakkig).

Met Sandpiper kunnen ze nu alles doen. Ze kunnen duizenden gesprekken analyseren met de diepgang van een expert, maar in een fractie van de tijd. Het is alsof je van een fiets op een snelle trein stapt, maar jij houdt zelf nog steeds het stuur in handen en bepaalt waar de trein naartoe gaat.

Kort samengevat:
Sandpiper is een slimme brug tussen de enorme hoeveelheid data in het onderwijs en de menselijke wijsheid. Het gebruikt AI om het zware werk te doen, maar zorgt ervoor dat de regels strak worden gehandhaafd, de privacy gewaarborgd blijft en de menselijke onderzoeker altijd de controle heeft. Hierdoor kunnen we eindelijk begrijpen wat er echt gebeurt in de klas, op grote schaal.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale", geschreven in het Nederlands.

Titel: Sandpiper: Georkestreerde AI-annotatie voor educatief discours op schaal

1. Het Probleem

Digitale educatieve omgevingen genereren een ongeëvenaarde hoeveelheid semi-gestructureerde discoursdata (zoals transcripties van tutoring, klaslokaalopnames en peer-to-peer discussies). Hoewel deze data waardevol is voor pedagogisch onderzoek, vormt de traditionele kwalitatieve analyse een kritieke bottleneck:

• Arbeidsintensief: Menselijke experts moeten tekst regel voor regel lezen en coderen, wat kostbaar en tijdrovend is.
• Beperkte schaalbaarheid: Door de menselijke beperkingen blijft een groot deel van de educatieve data ononderzocht.
• Beperkingen van bestaande oplossingen:
  • Traditionele QDA-software (zoals NVivo) schaalbaar niet goed zonder enorme menselijke inspanning.
  • Volledig geautomatiseerde NLP/LLM-benaderingen missen vaak de nuance van educatief discours, leiden tot "hallucinaties" (verzonnen labels), en houden zich niet strikt aan vooraf gedefinieerde codeboeken (kwalitatieve richtlijnen).

2. Methodologie: Het Sandpiper-systeem

Sandpiper is een mixed-initiative systeem (waarbij mens en AI samenwerken) dat is ontworpen om de kloof tussen grote hoeveelheden data en menselijke kwalitatieve expertise te overbruggen. Het systeem gebruikt een multi-tier architectuur die de interactieve dashboard van de onderzoeker isoleert van de zware rekenlast van LLM-inferentie.

Kernarchitectuur en Werkstroom:

1. Data Ingestie en Anonymisering (DG1):

   • Bij het binnenkomen worden ruwe transcripties genormaliseerd naar een interne JSON-"Session"-representatie.
   • Een geautomatiseerd systeem verwijdert of maskeert Persoonlijk Identificeerbare Informatie (PII) voordat data naar externe LLM-providers wordt gestuurd.
   • Onderzoekers kunnen de gemaskeerde transcripties verifiëren via een mens-in-de-lus interface om ethische standaarden te waarborgen.
   • Alle data wordt opgeslagen op een beveiligde, universitair gehuisveste infrastructuur (Cornell LiteLM cluster).

2. Prompt-beheer en Schema-beperking (DG2):

   • Prompts worden behandeld als strikte onderzoeksinstrumenten. Onderzoekers definiëren hun coderingsschema's (JSON-schemas) direct in de interface.
   • Orchestrator Loop: In plaats van ruwe LLM-uitvoer blind te accepteren, gebruikt Sandpiper een "Orchestrator Loop". Deze loop scant de output van de LLM op strikte conformiteit met het gedefinieerde JSON-schema.
   • Bij fouten (bijv. hallucinaties of verkeerde opmaak) wordt de output afgewezen, krijgt de LLM feedback over de fout, en wordt de prompt opnieuw gestuurd. Dit garandeert dat alleen validatie-gecontroleerde data de onderzoeker bereikt.

3. Annotatie en Visualisatie:

   • Onderzoekers definiëren "Runs" (selectie van corpus, prompt-versie en LLM-model).
   • In de Chat View worden de originele transcripties naast de gegenereerde AI-codes weergegeven. Dit stelt onderzoekers in staat om de redenering van de AI te monitoren en randgevallen te identificeren.

4. Evaluatie en Validatie (DG3):

   • Een geïntegreerde Evaluations Dashboard maakt het mogelijk om AI-labels te vergelijken met menselijke labels of tussen verschillende modelversies.
   • Het systeem berekent automatisch kwalitatieve metrics zoals Cohen's Kappa, precisie, recall en paarsgewijze overeenkomstmatrices.
   • Dit stelt onderzoekers in staat om iteratief hun codeboeken en prompts te verfijnen op basis van harde data.

3. Belangrijkste Bijdragen

• Mixed-Initiative Architectuur: Sandpiper positioneert AI niet als vervanging, maar als een collaboratieve partner die menselijke agency behoudt via granulaire prompt-beheer en schema-afdwang.
• Schema-Constrained Orchestration: Een technische innovatie die LLM-hallucinaties elimineert door output te valideren tegen strikte JSON-schema's voordat deze worden opgeslagen.
• Privacy-First Infrastructuur: Implementatie van context-aware, geautomatiseerde de-identificatie en het gebruik van een beveiligde, universitair gehuisveste LLM-cluster (Cornell LiteLM) om data-soevereiniteit te waarborgen.
• Wetenschappelijke Validatie van AI: Het transformeren van "prompt engineering" naar een rigoureuze wetenschappelijke activiteit door middel van een ingebouwde evaluatie-engine die AI-prestaties voortdurend bemonstert tegen menselijke baselines.

4. Resultaten en Evaluatie

Het paper presenteert het systeemontwerp en de architectuur, en stelt een gebruikersstudie voor om de effectiviteit te evalueren. Hoewel de paper zich richt op de systematische implementatie, worden de volgende verwachte resultaten en doelen benadrukt:

• Verbeterde Research Efficiency: Het verminderen van de tijd die nodig is voor kwalitatieve analyse door schaalbare AI-ondersteuning.
• Inter-rater Betrouwbaarheid: Het verhogen van de consistentie tussen onderzoekers door AI als een standaardiserende factor te gebruiken.
• Vertrouwen in AI: Het opbouwen van vertrouwen bij onderzoekers door transparantie (mens-in-de-lus verificatie) en strikte validatie van AI-outputs.
• Methodologische Rigor: Het waarborgen dat de schaalbaarheid van LLM's niet ten koste gaat van de methodologische strengheid die nodig is voor educatief onderzoek.

5. Betekenis en Toekomstperspectief

Sandpiper biedt een schaalbare, rigoureuze en interactieve infrastructuur voor de toekomst van computationeel educatief onderzoek. Het lost het fundamentele dilemma op tussen de schaalbaarheid van AI en de nuance van kwalitatieve menselijke analyse.

Toekomstig werk omvat:

• Uitbreiding van de mens-in-de-lus workflows.
• Naadloze integratie van handmatige correcties.
• Dynamische segmentatie van transcripties via "Per-segmentation" modellen vóór het coderingsproces.

Samenvattend stelt Sandpiper onderzoekers in staat om de enorme hoeveelheid data in moderne educatieve omgevingen te benutten zonder in te leveren op privacy, methodologische integriteit of menselijke expertise.