VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine komplexe Maschine zu bauen, wie etwa ein mechanisches Spielzeug, nur mithilfe einer schriftlichen Beschreibung. Sie geben dem Roboter die Anweisungen, und er versucht, das Spielzeug zu bauen. Aber manchmal funktioniert das Spielzeug nicht. In der Welt der Informatik wird dies als „Hardware-Design“ bezeichnet, und die Anweisungen werden in einer speziellen Sprache namens Verilog geschrieben. Lange Zeit sind intelligente Computerprogramme, bekannt als Large Language Models (LLMs), sehr gut darin geworden, diese Anweisungen zu lesen und den Code zu schreiben, um die Maschine zu bauen. Doch wenn die Maschine kaputt geht, bleiben diese Programme oft stecken. Sie können zwar sehen, dass das Spielzeug defekt ist, aber sie können nicht herausfinden, warum, weil es ihnen nicht erlaubt ist, genau in die beweglichen Teile hineinzuschauen. Sie sind wie ein Mechaniker, der das Klopfen eines Motors hört, aber nicht die Motorhaube öffnen oder einen Schraubenschlüssel benutzen darf, um bestimmte Zahnräder zu überprüfen. Dieses Papier, geschrieben von Forschern der University of Maryland, befasst sich mit genau diesem Problem: Wie man diesen KI-„Mechanikern“ die Freiheit gibt, das Innenleben der Maschine so zu untersuchen, wie es ein menschlicher Experte tun würde.

Die Forscher Yu-Tung Liu und Cunxi Yu stellten fest, dass die KI zwar den ursprünglichen Code schreiben kann, aber Schwierigkeiten hat, ihn zu reparieren, wenn etwas schiefgeht. Frühere Versuche, der KI beim Debugging zu helfen, bestanden darin, ihr eine „Waveform“ zu geben – eine visuelle Karte, wie sich die Signale der Maschine im Laufe der Zeit verändern. Aber diese alten Systeme waren so, als würde man einem Detektiv ein Foto eines Tatorts geben, ihm aber verbieten, selbst zu entscheiden, welche Hinweise er untersuchen oder auf welche Tageszeit er sich konzentrieren soll. Die KI war gezwungen, eine enge, vorab ausgewählte Ansicht zu betrachten, die oft die wahre Ursache des Fehlers übersah. Die Autoren bezeichnen diese Einschränkung als einen „unvollständigen Aktionsraum“ (incomplete action space). Sie argumentieren, dass die KI, um den Code wirklich reparieren zu können, in der Lage sein muss, selbst zu wählen, welche Signale sie untersucht, wann sie sie betrachtet und wie lange sie die Untersuchung fortsetzt – genau so, wie ein menschlicher Ingenieur denkt.

Um dies zu lösen, entwickelte das Team ein neues System namens VeriTrace. Stellen Sie sich VeriTrace als ein Team spezialisierter KI-Arbeiter vor. Ein Arbeiter schreibt den Code, ein anderer prüft, ob er funktioniert, und ein dritter, der „Inspector“, agiert wie ein neugieriger Detektiv. Im Gegensatz zu früheren Systemen hat dieser Inspector die absolute Freiheit. Er kann sagen: „Ich glaube, das Problem liegt in diesem spezifischen Zahnrad, aber nur während der zweiten Sekunde des Betriebs“, und dann genau dort hineinzoomen, um dies zu überprüfen. Wenn die erste Vermutung falsch war, gibt der Inspector nicht auf; er bildet eine neue Theorie, wählt ein anderes Zeitfenster und schaut erneut nach. Dieser Prozess wird als „Agentic Temporal Exploration“ bezeichnet. Er ermöglicht es der KI, eine Hypothese aufzustellen, diese gegen die Beweise zu prüfen und ihr Verständnis Schritt für Schritt zu verfeinern, genau wie ein Mensch es tun würde.

Die Ergebnisse dieses neuen Ansatzes sind äußerst beeindruckend. Bei Tests auf einem Standard-Datensatz von 156 Programmieraufgaben namens VerilogEval-V2 erreichte VeriTrace eine perfekte Punktzahl von 100% Pass@1. Das bedeutet, dass es beim allerersten Versuch seines final korrigierten Codes jedes einzelne Problem richtig gelöst hat. Dies ist das erste Mal, dass ein Open-Source-System dieses Niveau der Perfektion in diesem speziellen Benchmark erreicht hat. Selbst im Vergleich zu anderen starken Systemen, die dasselbe zugrunde liegende KI-Gehirn (Claude Sonnet 4.0) verwenden, übertraf VeriTrace diese um 5,1%, was beweist, dass die Freiheit zur Erkundung und Untersuchung der Schlüssel zum Schließen der letzten Lücke in der Genauigkeit ist.

Interessanterweise stellten die Forscher fest, dass diese Freiheit die KI nicht nur intelligenter, sondern auch effizienter machte. Indem VeriTrace nur die spezifischen Informationen anforderte, die es in jedem Schritt benötigte, anstatt die gesamte Historie des Maschinenbetriebs in seinen Speicher zu laden, reduzierte das System die Menge der zu verarbeitenden Daten um 18%. Dies deutet darauf hin, dass es nicht nur besser ist, die KI die richtigen Fragen stellen zu lassen, um eine Antwort zu finden, sondern dass dies auch viel Rechenenergie spart. Das Papier kommt zu dem Schluss, dass die KI-Modelle selbst zwar leistungsstark sind, der wahre Durchbruch jedoch darin liegt, wie wir sie ihre Werkzeuge benutzen lassen. Indem wir ihnen die Handlungsfreiheit geben, Zeit und Signale frei zu erkunden, können wir sie von starren Codegeneratoren in echte Problemlöser verwandeln.