Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents
Das Papier stellt Collaborative Agent Reasoning Engineering (CARE) vor, eine systematische, phasengetaktete Methodik, die einen dreiparteiigen Arbeitsablauf von Fachexperten, Entwicklern und LLM-Helferagenten nutzt, um informelle Domänenabsichten in rigorose, überprüfbare Spezifikationen für die Entwicklung zuverlässiger KI-Agenten in wissenschaftlichen Domänen zu transformieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen hochqualifizierten Roboterassistenten zu entwickeln, der Wissenschaftlern hilft, spezifische Daten in einer riesigen Bibliothek zu finden. In der Vergangenheit versuchte man, diese Roboter zu unterrichten, indem man einfach mit ihnen sprach, raten musste, was zu sagen sei, und auf das Beste hoffte. Dies ist vergleichbar mit dem Versuch, einem Hund komplexe Mathematik beizubringen, indem man einfach zufällige Wörter auf ihn zu schreit; manchmal funktioniert es, aber meistens ist es ein Durcheinander aus Versuch und Irrtum.
Diese Arbeit stellt CARE (Collaborative Agent Reasoning Engineering) vor, eine neue, disziplinierte Methode zum Aufbau solcher KI-Assistenten. Anstatt zu raten, behandelt CARE den Aufbau einer KI wie den Bau einer Brücke: Sie benötigen einen strengen Bauplan, ein Team von Experten und einen schrittweisen Prüfprozess.
Hier ist die Funktionsweise von CARE, aufgeschlüsselt in einfache Konzepte:
Das Drei-Parteien-Team
CARE ist nicht nur ein Gespräch zwischen Mensch und Computer. Es ist ein Dreiergespräch zwischen:
- Den Fachexperten (SMEs): Die Wissenschaftler, die die Spielregeln kennen (z. B. „Wir vertrauen nur Daten aus dem Jahr 2020" oder „Raten Sie niemals die Antwort").
- Den Entwicklern: Die Ingenieure, die wissen, wie man den Roboter baut.
- Den „Helfer-Agenten": Dies sind spezielle KI-Assistenten, deren einzige Aufgabe es ist, den Menschen zu helfen, miteinander zu sprechen. Denken Sie an sie als an einen super-effizienten Schreiber oder einen Übersetzer. Sie hören den Wissenschaftlern zu, stellen klärende Fragen und notieren die Regeln in einem klaren, strukturierten Format, das die Entwickler verstehen können.
Das Problem: Die „Zackige Grenze"
Die Arbeit erklärt, dass KI wie ein zerklüftetes Gebirge ist. Manchmal ist sie unglaublich klug und hilfreich; zu anderen Zeiten ist sie verwirrt und erfindet Fakten. Wenn Sie ein Experte sind, wissen Sie, wie Sie die sicheren Pfade navigieren. Wenn Sie ein Anfänger sind, könnten Sie von einer Klippe wandern. Das Ziel von CARE ist es, die KI so zu bauen, dass sie sich wie der Experte verhält, unabhängig davon, wer sie verwendet.
Der CARE-Prozess: Eine Baustelle mit fünf Schritten
Anstatt einfach einen Prompt einzugeben und auf das Beste zu hoffen, verwendet CARE einen „stufenweise gegliederten" Prozess. Das bedeutet, dass Sie nicht zum nächsten Schritt übergehen können, bevor der aktuelle Schritt von den Menschen genehmigt wurde.
- Umfang und Zerlegung: Das Team definiert das Ziel. Was genau soll dieser Roboter tun? Der Helfer-Agent hilft, die Grenzen festzuhalten.
- Elicitation von Schlüsselinformationen: Das Team sammelt die „Werkzeuge" und den „Kontext". Auf welche Datenbanken kann der Roboter zugreifen? Wie sieht eine korrekte Antwort aus? Der Helfer-Agent verwandelt diese Antworten in eine Checkliste.
- Reasoning-Policy und Sicherheitsvorkehrungen: Dies ist der wichtigste Teil. Das Team entscheidet, wie der Roboter denkt. Wann sollte er um Hilfe bitten? Wann sollte er sagen „Ich weiß es nicht"? Der Helfer-Agent entwirft diese Regeln, und die Menschen genehmigen sie.
- Prompt-Architektur: Erst nachdem die Regeln festgelegt sind, schreibt das Team die eigentlichen Anweisungen (den „Prompt") für die KI. Da die Regeln bereits klar sind, ist der Prompt nur eine Übersetzung dieser genehmigten Regeln, kein Raten.
- Benchmarking und Verifizierung: Bevor der Roboter an die Arbeit geht, macht er einen Test. Das Team erstellt eine Reihe von Fragen, um zu sehen, ob der Roboter tatsächlich den von ihnen aufgeschriebenen Regeln folgt.
Die Analogie des „Helfer-Agenten"
Stellen Sie sich den Helfer-Agenten als Bauleiter vor.
- Der Wissenschaftler (SME) sagt: „Ich brauche eine Wand, die sicher und stark ist."
- Der Entwickler sagt: „Okay, ich werde sie bauen."
- Ohne einen Bauleiter könnten sie darüber streiten, was „stark" bedeutet, oder der Entwickler könnte eine Wand bauen, die gut aussieht, aber einstürzt.
- Mit dem Helfer-Agenten tritt er ein und sagt: „Wissenschaftler, bedeutet ‚stark', dass sie 500 Pfund tragen kann? Entwickler, erfüllt Ihr Plan diese Anforderung von 500 Pfund?" Er notiert die genauen Spezifikationen in einem Vertrag (dem „Artefakt"). Wenn sich der Plan später ändert, wird der Vertrag aktualisiert, und jeder weiß genau, was sich geändert hat.
Der Realwelt-Test: Die NASA-Fallstudie
Um zu beweisen, dass dies funktioniert, baute das Team einen KI-Agenten für die NASA, der durch einen riesigen Katalog von Erdwissenschaftsdaten sucht (das NASA Common Metadata Repository).
- Der Wettbewerb: Sie bauten zwei Agenten.
- Agent A (Der CARE-Agent): Erbaut mit dem strengen 5-Schritte-CARE-Prozess unter Verwendung des Helfer-Agenten.
- Agent B (Die Basislinie): Erbaut auf die „alte Weise" (unter Verwendung desselben KI-Modells und derselben Werkzeuge, aber ohne den strengen CARE-Prozess).
- Die Ergebnisse:
- Bei einem großen, automatisierten Test mit 621 Fragen fand der CARE-Agent 71,7 % der Zeit zuerst die richtige Antwort, während die alte Methode nur 69,1 % erreichte.
- Bei einem kleineren, schwierigeren Test, der von echten NASA-Wissenschaftlern erstellt wurde (43 Fragen), fand der CARE-Agent die richtige Antwort in den Top-5-Ergebnissen 27,2 % der Zeit und schlug damit die alte Methode mit 20,2 %.
Das Fazit
Die Arbeit behauptet, dass durch die Verwendung eines strukturierten Prozesses, bei dem Menschen und „Helfer-Agenten" zusammenarbeiten, um klare Regeln vor dem Aufbau der KI festzuhalten, ein zuverlässigerer, sichererer und leistungsfähigerer Roboter entsteht. Es verwandelt die chaotische Kunst des „Prompt Engineering" in eine vorhersehbare Ingenieursdisziplin.
Wichtiger Hinweis: Die Arbeit testete dies nur beim Auffinden wissenschaftlicher Daten. Sie behauptet nicht, dass diese Methode für medizinische Diagnosen, Rechtsberatung oder andere spezifische Bereiche funktioniert, es sei denn, diese Bereiche werden in zukünftigen Arbeiten explizit erwähnt, was diese Arbeit nicht abdeckt. Der Erfolg ist streng auf das in dieser Arbeit bereitgestellte Beispiel der NASA-Datensuche beschränkt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.