Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves
Dieser Beitrag stellt Comet-H vor, einen iterativen Prompt-Automaten, der die gekoppelte Entwicklung von Code, Theorie und Dokumentation orchestriert, um Halluzinationen und Desynchronisation in Forschungssoftware zu verhindern, und demonstriert seine Wirksamkeit anhand eines Python-Static-Analysis-Tools, das auf einem Benchmark mit 90 Fällen die Baseline deutlich übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine neue Art von Auto zu bauen, aber Sie haben keinen fertigen Bauplan. Stattdessen haben Sie ein Team von unglaublich talentierten, schnell denkenden Ingenieuren (die KI), die Teile zeichnen, Motoren bauen und die Bedienungsanleitung gleichzeitig verfassen können.
Das Problem ist, dass diese Ingenieure anfällig für zwei spezifische Fehler sind:
- Die Falle „Fake It Till You Make It" (Vortäuschen, bis es gelingt): Sie könnten in die Anleitung schreiben: „Dieses Auto erreicht 200 Meilen pro Stunde", bevor sie tatsächlich den Motor gebaut haben, um dies zu beweisen. Dann liest der nächste Ingenieur diese Behauptung, geht davon aus, dass sie wahr ist, und baut ein Fahrgestell, das für 200 Meilen pro Stunde ausgelegt ist. Wenn der Motor dies tatsächlich nicht leisten kann, basiert das gesamte Projekt auf einer Lüge.
- Die Falle „Verloren in der Übersetzung": Der Ingenieur, der den Motor entworfen hat, könnte seine Meinung darüber ändern, wie er funktioniert, aber die Person, die die Anleitung schreibt, weiß davon nichts. Jetzt beschreibt die Anleitung einen alten Motor, der Bauplan zeigt einen neuen, und das tatsächliche Auto am Fließband ist etwas ganz anderes. Alle driften auseinander.
Dieser Artikel, „Orchestrating Language Models for Research Software Where the Specification Evolves" (Orchestrierung von Sprachmodellen für Forschungssoftware, bei der die Spezifikation sich entwickelt), stellt ein neues System namens Comet-H vor, um diese Probleme zu beheben. Es behandelt Forschung nicht als gerade Linie, sondern als Tanz, bei dem Musik, Schritte und Tänzer sich ständig aneinander anpassen müssen.
Die Kernidee: Ein „Dirigent" für die KI
Anstatt die KI einfach nur zu bitten, „Code zu schreiben", haben die Autoren einen Dirigenten (eine Steuerung) entwickelt, der das gesamte Orchester verwaltet. Dieser Dirigent sagt der KI nicht nur, was zu tun ist; er überprüft ständig den „Arbeitsbereich" (den Code, die mathematische Theorie, die Benchmarks und den Artikel), um zu sehen, was fehlt oder nicht synchron ist.
Hier ist, wie Comet-H funktioniert, unter Verwendung einfacher Analogien:
1. Die „Verblassende To-Do-Liste" (Obligation Decay)
Stellen Sie sich vor, Sie schreiben ein Buch. Sie haben einen Haftnotiz, auf der steht: „Ich muss dieses Kapitel faktenchecken."
- Der alte Weg: Wenn Sie vergessen, es zu prüfen, bleibt der Zettel für immer da und verunreinigt Ihren Schreibtisch, oder Sie ignorieren ihn und machen weiter.
- Der Comet-H-Weg: Der Zettel hat eine Halbwertszeit. Jedes Mal, wenn Sie einen Schritt im Projekt vorwärts machen, wird der Zettel etwas blasser. Wenn Sie ihn nicht bald angehen, verblasst er. Aber wenn er sehr frisch ist, leuchtet er hellrot.
- Warum das wichtig ist: Dies zwingt die KI, unausgeführte Aufgaben (wie „beweise diese Behauptung") zu erledigen, solange sie noch frisch sind. Wenn die KI versucht, die Schulden zu ignorieren, wird das „Leuchten" heller, und der Dirigent zwingt die KI, anzuhalten und es zu beheben, bevor sie weitermacht.
2. Der „Realitätscheck" (Reactive Grounding)
Immer wenn die KI die „öffentliche Fassade" des Projekts ändert (wie die README-Datei oder den Forschungsartikel), drückt Comet-H den Pause-Knopf.
- Die Regel: Sie können die Geschichte nicht ändern, ohne die Fakten zu prüfen.
- Der Prozess: Wenn die KI schreibt: „Unser Tool ist 10-mal schneller", hält das System sofort an und sagt: „Okay, zeigen Sie mir die Rennergebnisse." Es zwingt die KI, den Code auszuführen und ein „Grounding Ledger" (eine maschinenlesbare Quittung) zu generieren, das die Behauptung beweist.
- Das Ergebnis: Dies stoppt die Falle „Fake It Till You Make It". Eine Lüge kann nur einen Schritt überleben, bevor sie aufgedeckt und korrigiert wird.
3. Der „Sichere Schritt" (Adjacency Constraints)
Manchmal wird eine KI aufgeregt und möchte von „ein Fahrrad bauen" zu „ein Raumschiff bauen" springen.
- Die Regel: Comet-H erlaubt nur benachbarte Schritte. Die KI kann einen kleinen Schritt vorwärts machen (z. B. „ein Zahnrad zum Fahrrad hinzufügen"), aber sie kann nicht in ein völlig anderes Universum springen.
- Warum das wichtig ist: Dies hält das Projekt bodenständig. Wenn die KI die Kerntheorie ändern möchte, muss sie dies auf eine Weise tun, die noch mit dem verbunden ist, was gestern gebaut wurde. Dies verhindert, dass das Team so weit auseinanderdriftet, dass sie vergessen, was sie ursprünglich zu bauen versuchten.
Die Ergebnisse: Die „a3"-Fallstudie
Die Autoren testeten dieses System, indem sie ein Portfolio von 46 verschiedenen Forschungssoftware-Projekten erstellten. Der Star der Show ist ein Tool namens a3, ein Programm, das darauf ausgelegt ist, Fehler in Python-Code zu finden.
- Die Herausforderung: Normalerweise sind Fehlerfindungstools wie laute Nachbarn; sie schreien überall „FEHLER!", auch wenn alles in Ordnung ist. Dies erzeugt viele Fehlalarme.
- Der Comet-H-Ansatz: Das System baute nicht nur das Tool; es entwickelte die dahinterstehende Theorie. Es begann mit einer einfachen Idee, erkannte, dass sie zu schwer zu berechnen war, und der Dirigent erlaubte dem Team, zu einem neuen mathematischen Ansatz (unter Verwendung von „Sicherheitszertifikaten") zu wechseln, der tatsächlich funktionierte.
- Das Ergebnis: Das finale Tool war unglaublich genau. Es fing echte Fehler auf (hohe Präzision), ohne über Dinge zu schreien, die nicht kaputt waren. Es erzielte 0,768 auf einer Testskala, während das zweitbeste Tool nur 0,364 erreichte.
Was wir über das KI-Verhalten gelernt haben
Indem die Autoren beobachteten, wie die KI an diesen 46 Projekten arbeitete, bemerkten sie einige interessante Muster:
- Das „Aufräum-Team" ist real: Am Anfang ist die KI damit beschäftigt, neue Funktionen zu bauen. Aber wenn sich das Projekt dem Ende nähert, verbringt die KI die meiste Zeit mit Prüfung und Behebung. Es ist wie ein Bauteam, das die letzte Woche eines Projekts damit verbringt, nur zu prüfen, ob die Farbe trocken ist und die Türen öffnen, anstatt neue Wände zu bauen.
- Ehrlichkeit entsteht: Wenn sie gezwungen wurden, ihre Behauptungen zu beweisen, wurde die KI überraschend ehrlich. Anstatt Fehler zu verbergen, begann sie explizit festzustellen: „Wir können diesen spezifischen Problemtyp noch nicht lösen." Das System programmierte diese Ehrlichkeit nicht; sie entstand, weil der „Realitätscheck" das Lügen zu schwierig machte.
- Selbstorganisation: Im Laufe der Zeit begann die KI, ihren eigenen Code in sauberere, logischere Strukturen zu organisieren, obwohl ihr niemand explizit gesagt hatte, dies zu tun.
Das große Ganze
Der Artikel argumentiert, dass der Aufbau von Forschungssoftware anders ist als das Korrigieren eines Tippfehlers in einem Dokument. Es ist ein Ko-Evolutionsprozess. Die Theorie, der Code, die Tests und die Geschichte müssen gemeinsam wachsen.
Wenn Sie eine KI einfach bitten, „einen Artikel und Code zu schreiben", wird sie wahrscheinlich driften, halluzinieren und den Takt verlieren. Aber wenn Sie ihr einen Dirigenten geben, der ständig die Partitur prüft, Realitätschecks erzwingt und sicherstellt, dass die Schritte verbunden bleiben, können Sie komplexe, vertrauenswürdige Forschungstools bauen, die tatsächlich funktionieren.
Kurz gesagt: Comet-H ist ein System, das die KI davon abhält, zu tagträumen, und sie zwingt, ihre Versprechen zu halten, und stellt sicher, dass die Geschichte, die sie erzählt, mit dem Code übereinstimmt, den sie schreibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.