Carnap Ten Years Later: Lessons Learned and Next Steps

Stellen Sie sich vor, Sie versuchen, einer Klasse von 45.000 Studenten beizubringen, wie man Logikrätsel löst. Sie möchten, dass sie jeden Tag üben, aber das Bewerten von tausenden handgeschriebenen Beweisen von Hand ist ein Albtraum. Also bauen Sie einen Roboter-Lehrer.

Genau das hat Graham Leach-Krouse mit Carnap gemacht, einem webbasierten Tool, das in den letzten zehn Jahren über vier Millionen Logikprobleme für Studenten weltweit bewertet hat. Aber nachdem er diesen Roboter zehn Jahre lang laufen ließ, stellte der Autor fest, dass der Roboter etwas tollpatschig geworden war, und es ist an der Zeit, eine brandneue, super-geschmeidige Version zu bauen.

Hier ist die Geschichte davon, was gut lief, was schiefging und welche glänzenden neuen Werkzeuge gebaut werden, um es zu beheben.

Der ursprüngliche Roboter: Ein etwas chaotisches Genie

Der ursprüngliche Carnap wurde wie ein riesiges, allumfassendes Schweizer Taschenmesser gebaut. Er wurde in einer sehr schicken Programmiersprache namens Haskell geschrieben. Der Autor wollte, dass er kostenlos ist (keine Kosten für Studenten), webbasiert (keine nervigen Softwareinstallationen) und flexibel (in der Lage, jede Art von Logik zu lehren, von einfacher Mathematik bis hin zu komplexer Philosophie).

Was funktionierte:

• Das Web: Es auf einer Website unterzubringen, war ein großer Gewinn. Studenten mussten sich nicht mit Installationsbildschirmen herumschlagen; sie klickten einfach auf einen Link.
• Die Feedback-Schleife: Das Beste war das „sofortige Feedback“. Während ein Student einen Beweis tippte, prüfte der Roboter ihn Zeile für Zeile. Wenn sie einen Fehler machten, sagte er „Nö, versuch es nochmal“ sofort. Dies hielt die Studenten in einem „Flow-Zustand“, in dem sie das Gefühl hatten, ein Spiel zu spielen, anstatt Hausaufgaben zu machen.
• Die Flexibilität: Der Autor nutzte einen cleveren Trick (genannt Huet-Algorithmus), um dem Roboter zu ermöglichen, Dutzende verschiedener Logik-Lehrbücher zu verstehen. Es war wie ein Übersetzer, der in der Lage war, jeden Dialekt der Logik sofort zu sprechen.

Was nicht funktionierte:

• Die „All-in-One“-Falle: Der Autor versuchte, alles in einem einzigen großen Codeblock zu erledigen. Der Teil, der die Bilder zeichnete, der Teil, der die Mathematik prüfte, und der Teil, der die Noten speicherte, waren alle miteinander verheddert. Wenn man einen winzigen Bug im Mathematik-Checker beheben wollte, konnte man versehentlich das Noten-Speichersystem beschädigen. Es war, als würde man versuchen, den Motor eines Autos zu reparieren, während die Räder noch drehen.
• Der „Bus-Faktor“: Da der Code so verheddert war und ein sehr spezifisches, schwer zu installierendes Setup verwendete, war es für andere Menschen fast unmöglich, zu helfen. Wenn der Hauptentwickler von einem Bus erfasst würde (ein klassischer Programmierer-Witz über den Verlust der einzigen Person, die weiß, wie das System funktioniert), könnte das Projekt sterben.
• Das Vertrauensproblem: Studenten müssen dem Roboter vertrauen. Wenn der Roboter einen Fehler macht, eine verwirrende Fehlermeldung gibt oder sich seltsam verhält, hören Studenten auf, der Logik selbst zu vertrauen. Sie denken: „Der Roboter ist kaputt“, anstatt „Ich habe einen Fehler gemacht“. Das ursprüngliche System hatte zu viele kleine Glitches, die dieses Vertrauen brachen.

Die Diagnose: Warum der alte Roboter in den Ruhestand muss

Der Autor sah sich das alte System an und stellte fest, dass es auf einer „Dual-Monolith“-Architektur basierte. Denken Sie an ein Haus, in dem Küche, Schlafzimmer und Badezimmer ein einziger riesiger Raum ohne Wände sind. Man kann die Küche nicht renovieren, ohne das Badezimmer abzureißen.

Das spezifische Problem war die Technologie, die verwendet wurde, um es im Browser auszuführen. Der Autor nutzte ein Tool namens GHCJS, um den schicken Code in Web-Code umzuwandeln. Aber dieses Tool ist nun „deprecated“ (im Grunde genommen: von seinen Schöpfern in den Ruhestand geschickt worden). Das alte System zu aktualisieren, wäre so, als würde man versuchen, den Motor eines Autos durch ein Teil zu ersetzen, das nicht mehr passt. Es wäre schmerzhaft, teuer und wahrscheinlich zum Scheitern verurteilt.

Das neue Design: Der „modulare“ Traum

Das Paper schlägt einen kompletten Redesign vor, bei dem der riesige Roboter in drei spezialisierte, winzige Roboter aufgeteilt wird, die miteinander kommunizieren.

1. Der winzige Verifizierer (mm0-zig): Dies ist das „Gehirn“, das prüft, ob ein Beweis tatsächlich korrekt ist. Er ist in einer neuen Sprache namens Zig geschrieben und ist unglaublich klein – nur etwa 4.500 Zeilen Code. Weil er so klein ist, kann ein Mensch den gesamten Code lesen und sagen: „Ja, das ist vertrauenswürdig.“ Er ist darauf ausgelegt, Beweise in einem Augenblick zu prüfen (unter 200 Millisekunden für eine riesige Mathematik-Bibliothek).
2. Der Compiler (Aufbau Bytecode Compiler oder abc): Dies ist der „Übersetzer“. Er nimmt die unordentliche, komplexe Art, wie ein Student seinen Beweis eintippt (vielleicht mithilfe eines schicken visuellen Editors), und verwandelt ihn in ein sauberes Binär-Zertifikat. Ihm ist es egal, wie der Student es geschrieben hat; er stellt nur sicher, dass das Endergebnis gültig ist.
3. Der Server: Dies ist lediglich der „Aktenschrank“. Er speichert die Aufgaben und Noten. Er leistet keine schwere Denkarbeit; er verwaltet lediglich Daten.

Die Magie des neuen Systems:

• Keine verhedderten Kabel mehr: Wenn Sie eine neue Art von Logik hinzufügen wollen (wie ein neues Lehrbuch), müssen Sie nicht das Gehirn oder den Aktenschrank neu schreiben. Sie geben dem Compiler einfach einen neuen Satz Regeln.
• Vertrauenswürdig: Das „Gehirn“ (mm0-zig) ist so klein und einfach, dass es von einer einzelnen Person geprüft werden kann. Einmal überprüft, muss es nie wieder geändert werden.
• Schnell: Der neue Verifizierer ist fast so schnell wie die ursprüngliche C-basierte Version und läuft bei einem spezifischen Testfall im Durchschnitt mit etwa 7,1 Millisekunden (im Vergleich zu 6,1 Millisekunden beim alten), was schnell genug ist, um sich für einen Menschen instantan anzufühlen.

Die Zukunft: Was kommt als Nächstes?

Der Autor gibt zu, dass das neue System noch nicht fertig ist. Momentan arbeitet der „Übersetzer“ (abc) am besten mit einem Texteditor, was für einen Anfänger in seinem ersten Logikkurs vielleicht immer noch zu abschreckend sein könnte. Der Plan ist, reichere visuelle Oberflächen (wie Drag-and-Drop-Beweisbäume) zu bauen, die mit dem Übersetzer kommunizieren.

Die große Lektion hier betrifft nicht nur den Code; es geht um Vertrauen. Ob Sie Student, Lehrer oder Programmierer sind, Sie müssen dem Werkzeug vertrauen, das Sie verwenden. Der alte Carnap war ein Held, der den Job erledigt hat, aber er war chaotisch. Der neue Carnap wird gebaut, um schlank, effizient und transparent zu sein, damit sich die Studenten auf die Logik konzentrieren können und nicht darauf, mit der Software zu kämpfen.

Kurz gesagt: Der alte Roboter war ein brillantes, aber chaotisches Genie. Der neue Roboter ist ein Team aus spezialisierten, vertrauenswürdigen Experten, die bereit sind, der nächsten Generation von Denkern dabei zu helfen, der Gravitation der Verwirrung zu entkommen und die „Fluchtgeschwindigkeit“ ihres eigenen Denkens zu erreichen.