ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence
Das Papier stellt ScientistOne vor, ein autonomes Forschungssystem, das auf einem Chain-of-Evidence-Rahmenwerk basiert, das Verifizierbarkeit durch Konstruktion gewährleistet, wodurch halluzinierte Zitationen eliminiert werden und eine perfekte Verifizierung von Ergebnissen sowie eine überlegene Ausrichtung von Methode und Code erreicht werden, während gleichzeitig die Leistung menschlicher Experten in diversen Forschungsfrontaufgaben erreicht oder übertroffen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie einen Robotwissenschaftler beauftragen können, Ihre Hausaufgaben zu erledigen, Ihre Forschungsarbeit zu schreiben und sie sogar zu veröffentlichen. Sie würden erwarten, dass der Roboter intelligent ist, oder? Aber was, wenn der Roboter ein meisterhafter Geschichtenerzähler ist, der Fakten erfindet, gefälschte Quellen erfindet und eine wunderschöne Geschichte schreibt, die nicht mit der chaotischen Realität seiner Experimente übereinstimmt?
Das ist das Problem, das ScientistOne lösen möchte.
Das Problem: Der „Fake-News"-Wissenschaftler
Die Arbeit erklärt, dass aktuelle KI-Forschungsagenten in zwei Dingen sehr gut werden:
- Die Arbeit zu erledigen: Sie können Code schreiben und Experimente durchführen.
- Die Geschichte zu schreiben: Sie können Arbeiten produzieren, die professionell aussehen und überzeugend klingen.
Allerdings klafft eine gefährliche Lücke zwischen der Geschichte und der Wahrheit. Die Arbeit nennt dies ein „Verifizierungsversagen".
Stellen Sie es sich wie einen Zauberer vor, der ein Kaninchen aus einem Hut zieht.
- Der alte Weg: Der Zauberer (die KI) sagt: „Schauen Sie, ein Kaninchen!" und Sie sehen ein Kaninchen. Sie glauben es. Aber Sie wissen nicht, ob das Kaninchen tatsächlich da war, ob es ein falsches Requisit war oder ob der Zauberer es einfach aus seiner Tasche gezogen hat.
- Die Realität: In 75 von den Forschern getesteten Arbeiten machten fast alle KI-Systeme Fehler. Einige erfanden Zitate (falsche Bücher, die es nicht gibt). Einige meldeten Ergebnisse, die nicht reproduzierbar waren. Einige beschrieben in der Arbeit eine komplexe Maschine, aber der eingereichte Code war tatsächlich ein einfaches, kaputtes Spielzeug.
Die Arbeit ergab, dass bis zu 21 % der Referenzen in einigen KI-Arbeiten komplett erfunden waren. Es ist wie bei einem Schüler, der einen Geschichtsaufsatz schreibt und ein Buch zitiert, das nie geschrieben wurde.
Die Lösung: Die „Kette der Beweise"
Um dies zu beheben, entwickelten die Forscher eine neue Regel namens Chain-of-Evidence (CoE) (Kette der Beweise).
Stellen Sie sich vor, Sie bauen ein Haus.
- Ohne CoE: Sie streichen einfach die Wände und hängen ein „Zu verkaufen"-Schild auf. Es sieht schön aus, aber das Fundament könnte aus Pappe bestehen.
- Mit CoE: Jeder einzelne Ziegel in der Wand muss einen Beleg haben. Jeder Balken muss ein Etikett tragen, das genau zeigt, woher er stammt. Wenn Sie behaupten, das Haus sei „erdbebensicher", müssen Sie den Ingenieurbericht vorlegen, der dies beweist.
ScientistOne ist ein neues KI-System, das von Grund auf so entwickelt wurde, dass es diese Regeln befolgt. Es schreibt nicht nur eine Arbeit; es baut eine Beweiskette für jeden einzelnen Satz, den es schreibt.
Wie ScientistOne funktioniert (Der Dreischritt-Prozess)
Der Detektiv (Problemuntersucher):
Bevor es etwas schreibt, geht dieser Teil des Roboters in die Bibliothek (wissenschaftliche Datenbanken) und liest 100 echte Bücher. Es rät nicht, welche Bücher existieren; es lädt die tatsächlichen PDFs herunter. Es erstellt eine Karte realer Fakten. Wenn es keine Quelle findet, verwendet es sie nicht. Dies stoppt das Problem der „falschen Bücher".Der Entdecker (Entdeckungsmotor):
Dieser Teil versucht, das mathematische oder wissenschaftliche Problem zu lösen. Es führt Experimente durch und führt ein strenges Protokoll über jede Zahl, die es erhält. Es ist wie ein Wissenschaftler, der ein Laborbuch führt, in dem jede Zahl mit einem spezifischen Testlauf verknüpft ist.Der Redakteur (Arbeitsverfasser & Behauptungsprüfer):
Dies ist der wichtigste Teil. Wenn der Roboter die Arbeit schreibt, tippt er nicht einfach Wörter. Er schreibt einen Satz und hängt sofort ein „Etikett" daran.- Satz: „Unsere Methode ist 50 % schneller."
- Etikett: [Link zum Laborbuch, Seite 4, Zeile 12].
Bevor die Arbeit fertig ist, prüft ein Behauptungsprüfer jedes Etikett. Es fragt: „Existiert diese Zahl tatsächlich im Notizbuch? Ist dieses Buch echt?" Wenn die Antwort „Nein" lautet, wird der Satz gelöscht oder korrigiert. Es ist wie ein strenger Redakteur, der sich weigert, eine Geschichte zu veröffentlichen, es sei denn, jede Tatsache wird durch einen Beleg untermauert.
Die Ergebnisse: Wer bestand den Test?
Die Forscher testeten ScientistOne gegen fünf andere KI-Forschungssysteme mit einem „Integritätsaudit". Sie prüften vier Dinge:
- Stimmten die Ergebnisse überein? (Sagte die Arbeit 90 % und erreichte der Code tatsächlich 90 %?)
- Betrügte man? (Versuchte der Code, den Test zu täuschen?)
- Sind die Referenzen echt? (Existieren die Bücher?)
- Stimmt der Code mit der Geschichte überein? (Beschrieben sie einen Ferrari, reichten aber ein Fahrrad ein?)
Die Ergebnisse:
- Die anderen Systeme: Jedes einzelne bestand mindestens einen Test nicht. Einige hatten gefälschte Referenzen. Einige hatten Ergebnisse, die nicht übereinstimmten. Einige beschrieben Algorithmen, die in ihrem Code nicht existierten.
- ScientistOne: Es war das einzige System, das alles bestand.
- 0 gefälschte Referenzen (von 337).
- 100 % Ergebnisgenauigkeit (jede Zahl stimmte überein).
- 93 % Code-Übereinstimmung (die Geschichte stimmte mit dem Code überein).
Über den Test hinaus
Die Forscher testeten ScientistOne auch an sechs anderen schwierigen Aufgaben, wie medizinischer Bildgebung und 3D-Objekterkennung. Bei diesen Tests bestand ScientistOne nicht nur die Integritätsprüfung; es gewann tatsächlich. Es erhielt „Goldmedaillen" in Wettbewerben, bei denen die anderen KI-Systeme komplett versagten oder ungültige Ergebnisse lieferten.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass Vertrauen ein architektonisches Merkmal ist. Man kann nicht einfach am Ende eines Prozesses einen „Vertrauenscheck" hinzufügen; man muss das System so bauen, dass es nicht lügen kann, ohne seine eigene Beweiskette zu brechen.
ScientistOne beweist, dass eine KI sowohl eine leistungsfähige Forscherin als auch eine wahrheitsgemäße sein kann, aber nur, wenn sie so konzipiert ist, dass sie für jede einzelne Behauptung, die sie aufstellt, einen Beleg führt. Es ist der Unterschied zwischen einem Zauberer, der Sie täuscht, und einem Wissenschaftler, der Ihnen die Mathematik zeigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.