Arapai: An Offline-First AI Chatbot Architecture for Low-Connectivity Educational Environments

Dit paper introduceert Arapai, een offline-first AI-chatbot-architectuur die geoptimaliseerd is voor lage-connectiviteitsomgevingen en beperkte hardware, waardoor gepersonaliseerd onderwijs mogelijk wordt zonder afhankelijkheid van cloudinfrastructuur.

De kern

Arapai: De Slimme Tutor die Geen Internet Nodig Heeft

Stel je voor dat je in een bibliotheek zit waar de ramen dicht zijn en er geen telefoonnetwerk is. Meestal kun je in zo'n bibliotheek alleen boeken lezen die er al staan. Maar wat als je een slimme bibliothecaris had die je elk vraag kon beantwoorden, zelfs als de telefoonlijnen doorgesneden zijn?

Dat is precies wat dit onderzoek doet met Arapai.

Hier is het verhaal van Arapai, verteld in simpele taal met een paar leuke vergelijkingen:

1. Het Probleem: De "Wolken" die niet altijd bereikbaar zijn

Vandaag de dag zijn slimme chatbots (zoals die van Google of Microsoft) als gigantische supercomputers in de wolken. Ze zijn heel slim, maar ze hebben een ononderbroken kabeltje naar het internet nodig om te werken.

In veel scholen in arme gebieden (of zelfs in afgelegen delen van rijke landen) is het internet echter als een kapotte waterleiding: soms komt er water, vaak niet, en soms is de druk zo laag dat er niets uitkomt. Als je een chatbot gebruikt die altijd internet nodig heeft, is het alsof je probeert een auto te starten zonder benzine. Het werkt niet. Dit zorgt ervoor dat leerlingen in deze gebieden de slimme hulpmiddelen missen die hun klasgenoten in de stad wel hebben.

2. De Oplossing: Arapai, de "Zelfvoorzienende Tuin"

De onderzoekers (van de Universiteit Soroti in Oeganda) hebben een oplossing bedacht: Arapai.

In plaats van te vertrouwen op de "wolk" (internet), heeft Arapai zijn eigen eigen kleine tuin op de computer van de school.

• Geen internet nodig: Arapai is als een zonnebloem die zijn eigen energie haalt uit de zon (de computerprocessor) en zijn eigen voedsel (de kennis) in de pot heeft staan. Hij hoeft nergens naartoe te gaan om te eten of te drinken.
• Werkt op oude apparaten: Veel scholen hebben geen dure, snelle computers met speciale videokaarten. Ze hebben vaak oude, trage laptops. Arapai is slim genoeg om zich aan te passen. Het is als een kameleon: als de computer zwak is, wordt Arapai kleiner en simpeler. Is de computer iets sterker? Dan wordt Arapai groter en slimmer.

3. Hoe werkt het? De "Drie Trappen" van Slimheid

Arapai heeft drie verschillende "hoeden" die hij kan opzetten, afhankelijk van wat de computer aankan:

1. De Lichtgewicht Hoed (Tier 1): Voor heel oude computers. Hij is klein en snel, perfect voor simpele vragen zoals "Wat is een hoofdstad?".
2. De Gemiddelde Hoed (Tier 2): Voor normale computers. Hij kan iets complexere vragen beantwoorden, zoals wiskundeproblemen stap-voor-stap uitleggen.
3. De Expert Hoed (Tier 3): Voor de sterkste computers. Hij kan diepgaande technische vragen beantwoorden, alsof hij een universiteitsprofessor is.

Het mooie is: Arapai kiest zelf welke hoed hij opzet. De computer zegt: "Ik ben een beetje oud," en Arapai zegt: "Geen probleem, dan doe ik het in de simpele modus." Niemand hoeft daar iets voor te doen.

4. De Les: Aangepast aan de Leerling

Stel je voor dat je een vraag stelt aan een leraar. Als je een kleuter bent, geeft de leraar een kort antwoord met plaatjes. Als je een tiener bent, geeft hij een gedetailleerde uitleg.

Arapai doet hetzelfde. Je kunt kiezen voor:

• Simpele taal: Voor beginners.
• Schooltaal: Voor middelbare scholieren.
• Technische taal: Voor studenten.

Dit zorgt ervoor dat niemand overweldigd wordt door te moeilijke woorden, en niemand zich verveelt door te simpele uitleg.

5. Wat hebben ze ontdekt?

De onderzoekers hebben Arapai getest op scholen waar het internet vaak uitviel. Het resultaat was geweldig:

• Het werkt: Zelfs op oude computers zonder internet werkte het stabiel.
• Het is snel genoeg: Voor korte vragen was het antwoord er binnen een paar seconden. Bij hele lange, moeilijke vragen duurde het iets langer (zoals 40 seconden), maar dat was acceptabel.
• Leerlingen en leraren waren blij: Leerlingen durfden vaker vragen te stellen omdat ze niet bang hoefden te zijn dat het internet het zou begeven. Leraren vonden het een perfecte hulp, net als een assistent die altijd beschikbaar is.

Conclusie: Een Vriend voor Iedereen

Arapai probeert niet de beste chatbot ter wereld te zijn die alles kan. Het probeert de meest betrouwbare chatbot te zijn voor degenen die het hardst nodig hebben.

Het is als het verschil tussen een Formule 1-auto (die alleen op de beste circuits rijdt) en een robuste terreinwagen (die overal komt, ook in modder en zonder asfalt). Voor scholen zonder internet is Arapai die terreinwagen. Het zorgt ervoor dat slimme technologie niet alleen voor de rijken is, maar voor iedereen, waar ze ook wonen.

Kortom: Arapai haalt de slimme AI uit de wolken en zet hem op de grond, zodat hij ook werkt als de stroom uitvalt of het internet weg is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Arapai: An Offline-First AI Chatbot Architecture for Low-Connectivity Educational Environments" in het Nederlands.

Probleemstelling

De snelle opkomst van Large Language Models (LLM's) heeft nieuwe kansen geboden voor gepersonaliseerd leren, maar de huidige AI-chatbots voor onderwijs zijn sterk afhankelijk van continue internetconnectiviteit, cloud-infrastructuur en geavanceerde hardware (zoals GPU's). Deze ontwerpveronderstellingen creëren een structurele barrière voor onderwijsinstellingen in regio's met beperkte bandbreedte, hoge datakosten of verouderde hardware. Hierdoor worden leerlingen en docenten in deze omgevingen uitgesloten van de voordelen van AI-ondersteund leren. Bestaande cloud-oplossingen zijn vaak niet haalbaar in deze contexten, wat leidt tot een kloof tussen het theoretische potentieel van AI en de praktische toepasbaarheid in hulpbronnenbeperkte omgevingen.

Methodologie en Architectuur

Het paper introduceert Arapai, een architectuur voor een "offline-first" AI-chatbot die volledig lokaal draait zonder afhankelijkheid van externe cloudservices. De kern van de methodologie omvat:

• Lokale Inference: Alle taalmodel-inferentie wordt uitgevoerd op het eindapparaat (client-side) op basis van vooraf getrainde, gekwantiseerde LLM's.
• Hardware-bewuste Modelselectie: Het systeem voert bij de initialisatie een evaluatie uit van de beschikbare computercapaciteit (CPU en RAM) en selecteert automatisch het meest geschikte model uit drie vooraf gedefinieerde niveaus:
  • Tier 1 (Lightweight): Tiny Llama-1.1B (voor apparaten met 4-8 GB RAM, CPU-only).
  • Tier 2 (Mid-Range): Qwen2.5-3B (voor apparaten met 8-12 GB RAM).
  • Tier 3 (Advanced): Mistral-7B (voor apparaten met 16+ GB RAM).
• Pedagogische Aanpassing: Het systeem biedt expliciete controle over de diepgang van het antwoord via vier niveaus: "Simple English", "Lower Secondary", "Upper Secondary" en "Technical". Dit zorgt voor differentiatie in instructie die aansluit bij het cognitieve niveau van de leerling.
• Implementatie: De software is gebouwd als een lokaal uitvoerbaar bestand voor Windows-pc's met een lokaal gehoste webfrontend. Het maakt gebruik van een lichtgewicht Retrieval-Augmented Generation (RAG) mechanisme om lokaal opgeslagen documenten te integreren in de antwoorden.
• Optimalisatie: Om prestaties te verbeteren, blijven de modellen resident in het geheugen tijdens sessies, waardoor herinitialisatie-overhead wordt vermeden bij het wissen van de chatgeschiedenis.

Kernbijdragen

1. Infrastructuur-resiliente Architectuur: Een bewijs van concept dat AI-onderwijs mogelijk maakt in omgevingen zonder internet, door connectiviteitsbeperkingen als primaire ontwerpparameters te behandelen in plaats van als secundaire beperkingen.
2. Hardware-Aware Adaptiviteit: Een mechanisme dat de kwaliteit van het antwoord afstemt op de beschikbare hardware, waardoor het systeem schaalbaar is van zeer beperkte tot redelijk krachtige CPU-only apparaten.
3. Pedagogische Differentiatie: De mogelijkheid om de complexiteit van het antwoord dynamisch aan te passen aan het curriculum en het niveau van de leerling, zonder dat daarvoor een internetverbinding nodig is.
4. Decentralisatie: Een alternatief paradigma voor cloud-gebaseerde AI, dat privacy, kostenpredictie en operationele onafhankelijkheid bevordert.

Resultaten van de Pilot

Een pilotstudie werd uitgevoerd in secundaire en tertiaire instellingen in Oeganda met beperkte connectiviteit. De evaluatie vond plaats op vier vlakken:

• Technische Prestaties: Het systeem functioneerde stabiel op verouderde hardware zonder internet. De automatische modelselectie werkte effectief over verschillende hardware-configuraties.
• Prestaties (Latency): Korte prompts werden verwerkt in 1-3 seconden. Complexere prompts konden tot 43 seconden duren, wat een bekende trade-off is bij transformer-modellen op CPU's, maar acceptabel werd bevonden voor educatieve doeleinden.
• Gebruiksgemak en Kwaliteit: Gebruikers (studenten en docenten) vonden het systeem intuïtief en vereiste minimale training. De kwaliteit van de antwoorden werd gewaardeerd als goed gestructureerd en curriculum-georiënteerd.
• Onderwijsimpact: Er werd een positief effect waargenomen op zelfstandig leren en de bereidheid van studenten om vragen te stellen. Docenten zagen het als een waardevolle aanvulling op de klassikale instructie die competentie-georiënteerd leren ondersteunt.

Betekenis en Conclusie

De studie concludeert dat Arapai bewijst dat AI-ondersteuning niet afhankelijk hoeft te zijn van de cloud. Hoewel lokaal gehoste modellen minder expressief kunnen zijn dan de grootste cloud-modellen, bieden ze voldoende pedagogische waarde voor onderwijs in hulpbronnenbeperkte contexten.

De belangrijkste betekenis ligt in het verschuiven van het discours: offline AI wordt niet gezien als een "inferieure" oplossing, maar als een noodzakelijk, contextbewust en infrastructuur-resilient alternatief. Dit draagt bij aan digitale inclusie door onderwijsinstellingen met verouderde hardware en slechte connectiviteit in staat te stellen AI-tools te gebruiken. De auteurs pleiten voor een hybride toekomst waarin cloud- en edge-oplossingen elkaar aanvullen, afhankelijk van de lokale infrastructuur en onderwijsbehoeften.