Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories
Dieser Beitrag stellt Routiium und EduRouter vor, ein durch Richtlinien gesteuertes LLM-Routing-System für Ingenieur-Labore, das durch dynamisches Management der Modellauswahl, Durchsetzung von Budgets und Abgleich der Studentenabsichten die didaktische Herausforderung und die Kosten in Einklang bringt und dadurch die Lernausrichtung erheblich verbessert sowie die Token-Kosten in simulierten und Live-Evaluierungen senkt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Lehrkraft, die ein praktisches Elektroniklabor leitet. Sie haben 30 Studierende, die jeweils mit echter, teurer Ausrüstung arbeiten. Sie möchten einen KI-Tutor einsetzen, um ihnen zu helfen, stehen jedoch vor einem kniffligen Problem: Wie helfen Sie ihnen beim Lernen, ohne ihnen einfach die Antworten zu geben?
Wenn der KI-Tutor zu hilfreich ist, hören die Studierenden auf zu denken und kopieren einfach die Lösung. Wenn er zu streng ist, werden sie frustriert und geben auf. Außerdem kostet der Betrieb leistungsfähiger KI-Modelle Geld, und Sie möchten Ihr Budget nicht für jede kleine Frage verschwenden.
Diese Arbeit stellt ein „Verkehrspolizisten"-System für KI-Tutoren in Ingenieur-Laboren vor. Es handelt sich um einen intelligenten Vermittler, der entscheidet, wann geholfen wird, wie geholfen wird und welches KI-Gehirn verwendet wird, während gleichzeitig ein detailliertes Protokoll geführt wird, damit die Lehrkraft genau sehen kann, was passiert ist.
So funktioniert das System, aufgeschlüsselt in einfache Teile:
1. Die zwei Hauptakteure
Das System besteht aus zwei Hauptwerkzeugen, die zusammenarbeiten:
- Routiium (Der Torwächter): Denken Sie daran als eine sichere Vordertür zum KI-System. Es lässt nicht einfach jeden herein; es prüft Ihren Ausweis, wendet spezifische Regeln auf Ihre Fragen an (wie das Hinzufügen einer Notiz „Denken Sie erst selbst nach") und führt einen Beleg für jedes Gespräch. Es verbindet sich mit verschiedenen KI-Modellen, von günstigen lokalen bis hin zu teuren, superschlauen Modellen.
- EduRouter (Der intelligente Dispatcher): Dies ist das Gehirn, das entscheidet, welches KI-Modell eine bestimmte Frage beantworten soll. Es schaut in eine „Bibliothek häufiger Fragen", die die Lehrkraft im Voraus erstellt hat. Wenn ein Studierende etwas Bekanntes fragt, prüft EduRouter die Bibliothek, um die Regeln für diese spezifische Frage zu sehen.
2. Die „Bibliothek häufiger Fragen"
Bevor das Labor beginnt, erstellt die Lehrkraft eine „Spickzettel" (eine Fragenbibliothek). Sie nimmt Fragen, die Studierende normalerweise stellen (wie „Wie messe ich Spannung?" oder „Warum summt meine Schaltung?"), und versieht sie mit Regeln.
- Beispiel: Wenn ein Studierende fragt: „Wie richte ich das Oszilloskop ein?", sagt die Bibliothek: „Verwende die günstige lokale KI, gib einen grundlegenden Hinweis und berechne nicht viel."
- Beispiel: Wenn ein Studierende fragt: „Löse mir einfach das ganze Problem", sagt die Bibliothek: „Stopp! Dies erfordert die Genehmigung eines Tutoriums, und wir müssen möglicherweise das Budget belasten."
3. Die drei Hilfestufen
Das System behandelt Hilfe wie eine Leiter mit vier Sprossen (L0 bis L3):
- L0 (Validierung): „Ist Ihr Draht angeschlossen?" (Keine Genehmigung erforderlich).
- L1 (Geführter Hinweis): „Prüfen Sie, ob Ihr Widerstand an der richtigen Stelle sitzt." (Nur ein kleiner Anstoß).
- L2 (Ausgearbeitetes Beispiel): „Hier ist eine Teillösung, um Sie zu starten." (Erfordert Budgetprüfung).
- L3 (Vollständige Lösung): „Hier ist die vollständige Antwort." (Erfordert, dass eine Lehrkraft zuerst „Ja" sagt).
4. Wie es im echten Leben funktioniert
Stellen Sie sich einen Studierenden namens Alex vor, der mit einer Schaltung kämpft.
- Die Anfrage: Alex tippt: „Meine Schaltung funktioniert nicht, Hilfe!"
- Die Zuordnung: EduRouter prüft die Bibliothek. Es erkennt, dass dies eine häufige „Fehlerbehebungs"-Frage ist.
- Die Entscheidung: Die Bibliothek sagt: „Für diese Frage geben Sie einen Hinweis (L1) und verwenden Sie die lokale KI."
- Die Aktion: Routiium sendet die Frage an die lokale KI, fügt einen Prompt hinzu, der besagt „Geben Sie nicht die Antwort, stellen Sie nur eine leitende Frage", und sendet die Antwort zurück an Alex.
- Die Kosten: Da die lokale KI verwendet wurde, kostete es fast nichts.
Aber was, wenn Alex die vollständige Antwort verlangt?
Wenn Alex fragt: „Geben Sie mir einfach die Lösung", und die Richtlinie besagt „L3 benötigt Genehmigung", pausiert das System. Es stellt die Anfrage in ein „Wartezimmer" und alarmiert die Lehrkraft. Die Lehrkraft klickt auf „Genehmigen", und dann gibt die teure, intelligente KI die Antwort.
5. Was wurde getestet?
Die Forscher haben nicht getestet, ob Studierende besser lernen (das ist eine andere Studie). Stattdessen haben sie getestet, ob das System die Regeln einhielt und Geld sparte.
Sie führten zwei Arten von Tests durch:
- Die Simulation: Sie erstellten eine fiktive Klasse von 30 Studierenden, die Tausende von Fragen stellten. Sie fanden heraus, dass wenn die „governed"-Regeln aktiv waren, die KI sich viel besser an die Hinweise der Lehrkraft hielt (98 % Genauigkeit) im Vergleich zu Situationen ohne Regeln (90 % Genauigkeit). Sie wartete auch länger, bevor sie die vollständige Antwort gab, und zwang die Studierenden, etwa 3,5 Runden lang „produktiv zu kämpfen", anstatt nur 1,5.
- Das Replay: Sie nahmen 100 echte Fragen und führten sie durch das System.
- Eingespartes Geld: Das System sandte 75 % der Fragen an die günstige lokale KI. Dies senkte die Kosten um 66 % (von 0,26 $ auf 0,087 $ für den Batch).
- Genauigkeit: Wenn die Frage mit der Bibliothek übereinstimmte, leitete das System sie zu 100 % perfekt weiter.
6. Das Fazit
Diese Arbeit stellt ein System vor, das Lehrkräften Kontrolle gibt.
- Früher: Lehrkräfte hatten wenig Einfluss darauf, wann die KI Antworten gab oder wie viel es kostete.
- Jetzt: Lehrkräfte können ein Budget festlegen, entscheiden, wann vollständige Lösungen erlaubt sind, und ein Protokoll jeder einzelnen Entscheidung sehen, die die KI getroffen hat.
Wichtiger Hinweis: Die Arbeit stellt sehr klar, dass dies ein Systemwerkzeug ist. Sie beweist, dass der „Verkehrspolizist" funktioniert, Geld spart und Regeln einhält. Sie behauptet nicht, dass dieses System Studierende schlauer macht oder die Testergebnisse verbessert. Das ist der nächste Schritt für zukünftige Forschung.
Kurz gesagt: Es ist ein Weg, KI im Labor einzusetzen, der die Regeln der Lehrkraft respektiert, das Budget schützt und verhindert, dass die Studierenden einfach die Antworten kopieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.