Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories
Dit artikel introduceert Routiium en EduRouter, een door beleid gestuurd LLM-routing-systeem voor technische laboratoria dat instructie-uitdaging en kosten in evenwicht houdt door dynamisch modelselectie te beheren, budgetten af te dwingen en studentenintenties af te stemmen, waardoor de leeruitkomsten aanzienlijk worden verbeterd en de tokenkosten in gesimuleerde en live evaluaties worden verlaagd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een docent bent die een praktijklab voor elektronica leidt. Je hebt 30 studenten, die elk werken met echte, dure apparatuur. Je wilt een AI-tutor gebruiken om hen te helpen, maar je staat voor een lastig probleem: Hoe help je hen om te leren zonder hen gewoon de antwoorden te geven?
Als de AI te behulpzaam is, stoppen studenten met nadenken en kopiëren ze gewoon de oplossing. Als ze te streng is, raken ze gefrustreerd en geven ze het op. Bovendien kost het draaien van krachtige AI-modellen geld, en je wilt je budget niet verkwisten aan elke kleine vraag.
Dit artikel introduceert een "verkeersregelaar"-systeem voor AI-tutors in technische laboratoria. Het is een slimme tussenpersoon die bepaalt wanneer te helpen, hoe te helpen en welk AI-brein te gebruiken, terwijl het tegelijkertijd een gedetailleerd logboek bijhoudt zodat de docent precies kan zien wat er is gebeurd.
Hieronder wordt uitgelegd hoe het systeem werkt, opgesplitst in eenvoudige onderdelen:
1. De Twee Hoofdpersonages
Het systeem is opgebouwd uit twee belangrijkste hulpmiddelen die samenwerken:
- Routiium (De Poortwachter): Denk hierbij aan een veilige voordeur naar de AI. Het laat niet zomaar iedereen binnen; het controleert je identiteit, past specifieke regels toe op je vragen (zoals het toevoegen van een notitie "denk er eerst zelf over na") en bewaart een bon van elk gesprek. Het maakt verbinding met verschillende AI-modellen, van goedkope, lokale modellen tot dure, super-slimme modellen.
- EduRouter (De Slimme Dispatch): Dit is het brein dat bepaalt welk AI-model een specifieke vraag moet beantwoorden. Het kijkt naar een "bibliotheek met veelgestelde vragen" die de docent van tevoren heeft samengesteld. Als een student iets bekends vraagt, controleert EduRouter de bibliotheek om te zien wat de regels zijn voor die specifieke vraag.
2. De "Bibliotheek met Veelgestelde Vragen"
Voordat het lab begint, bouwt de docent een "spiekbriefje" (een Vragenbibliotheek). Ze nemen vragen die studenten meestal stellen (zoals "Hoe meet ik spanning?" of "Waarom zoemt mijn schakeling?") en koppelen hier regels aan.
- Voorbeeld: Als een student vraagt: "Hoe stel ik de oscilloscoop in?", zegt de bibliotheek: "Gebruik de goedkope lokale AI, geef een basis hint en reken niet veel aan."
- Voorbeeld: Als een student vraagt: "Los dit hele probleem gewoon voor me op", zegt de bibliotheek: "Stop! Dit vereist de goedkeuring van een docentassistent en we moeten mogelijk het budget belasten."
3. De Drie Niveaus van Hulp
Het systeem behandelt hulp als een ladder met vier sporten (L0 tot L3):
- L0 (Validatie): "Is je draad aangesloten?" (Geen goedkeuring nodig).
- L1 (Gestuurde Hint): "Controleer of je weerstand op de juiste plek zit." (Slechts een duwtje in de rug).
- L2 (Uitgewerkt Voorbeeld): "Hier is een deeloplossing om je op weg te helpen." (Vereist een budgetcheck).
- L3 (Volledige Oplossing): "Hier is het volledige antwoord." (Vereist dat een docent eerst "Ja" zegt).
4. Hoe Het In Het Dagelijkse Leven Werkt
Stel je een student voor, Alex, die worstelt met een schakeling.
- De Vraag: Alex typt: "Mijn schakeling werkt niet, help!"
- De Match: EduRouter controleert de bibliotheek. Het ziet dat dit een veelvoorkomende "probleemoplossing"-vraag is.
- De Beslissing: De bibliotheek zegt: "Voor deze vraag, geef een hint (L1) en gebruik de lokale AI."
- De Actie: Routiium stuurt de vraag naar de lokale AI, voegt een prompt toe met de tekst "Geef niet het antwoord, stel alleen een leidende vraag", en stuurt het antwoord terug naar Alex.
- De Kosten: Omdat het de lokale AI gebruikte, kostte het bijna niets.
Maar wat als Alex om het volledige antwoord vraagt?
Als Alex vraagt: "Geef me gewoon de oplossing", en het beleid zegt "L3 vereist goedkeuring", pauzeert het systeem. Het plaatst het verzoek in een "wachtzaal" en waarschuwt de docent. De docent klikt op "Goedkeuren", en dan geeft de dure, slimme AI het antwoord.
5. Wat Hebben Ze Getest?
De onderzoekers hebben niet getest of studenten beter leerden (dat is een ander onderzoek). In plaats daarvan hebben ze getest of het systeem de regels volgde en geld bespaarde.
Ze voerden twee soorten tests uit:
- De Simulatie: Ze creëerden een nepklas van 30 studenten die duizenden vragen stelden. Ze ontdekten dat wanneer de "gereguleerde" regels aan stonden, de AI veel beter de hints van de docent volgde (98% nauwkeurigheid) in vergelijking met wanneer er geen regels waren (90% nauwkeurigheid). Het wachtte ook langer voordat het het volledige antwoord gaf, waardoor studenten ongeveer 3,5 beurten lang "productief moesten worstelen" in plaats van slechts 1,5.
- De Herhaling: Ze namen 100 echte vragen en voerden ze door het systeem.
- Geld Bespaard: Het systeem stuurde 75% van de vragen naar de goedkope lokale AI. Dit verlaagde de kosten met 66% (van $0,26 naar $0,087 voor de batch).
- Nauwkeurigheid: Wanneer de vraag overeenkwam met de bibliotheek, routeerde het systeem deze 100% van de tijd perfect.
6. De Conclusie
Dit artikel presenteert een systeem dat docenten controle geeft.
- Vroeger: Docenten hadden weinig zeggenschap over wanneer de AI antwoorden gaf of hoeveel het kostte.
- Nu: Docenten kunnen een budget instellen, bepalen wanneer volledige oplossingen worden toegestaan, en een logboek zien van elke beslissing die de AI heeft genomen.
Belangrijke Opmerking: Het artikel is zeer duidelijk dat dit een systeemtool is. Het bewijst dat de "verkeersregelaar" werkt, geld bespaart en regels volgt. Het claimt niet dat dit systeem studenten slimmer maakt of dat het de testresultaten verbetert. Dat is de volgende stap voor toekomstig onderzoek.
Kortom: Het is een manier om AI in het lab te gebruiken die de regels van de docent respecteert, het budget beschermt en voorkomt dat studenten gewoon de antwoorden kopiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.