VisualClaw: A Real-Time, Personalized Agent for the Physical World
VisualClaw ist ein selbstentwickelnder Echtzeit-multimodaler Agent, der hybride Kodierung nutzt, um API-Kosten und Latenz drastisch zu reduzieren und gleichzeitig kontinuierlich aus Fehlern lernt, um die Genauigkeit zu verbessern, validiert über Standard-Video-QA-Benchmarks und einen neuen agentischen Workspace-Benchmark namens VisualClawArena.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Assistenten (eine KI), der Videos ansehen, Dokumente lesen und Computerwerkzeuge benutzen kann, um Probleme für Sie zu lösen. Das Paper stellt eine neue Version dieses Assistenten namens VisualClaw vor.
Das Hauptproblem, das die Autoren lösen, ist, dass aktuelle KI-Assistenten wie übereifrige Touristen sind: Sie versuchen, jede einzelne Sekunde eines Videos anzusehen, jedes einzelne Wort einer Bedienungsanleitung zu lesen und das „Gehirn“ (das KI-Modell) um Hilfe bei jedem winzigen Detail zu bitten. Das ist unglaublich teuer, langsam und verwirrt die KI oft, weil es zu viele Informationen sind.
VisualClaw behebt dies, indem es wie ein kluger, erfahrener Reiseleiter agiert, der genau weiß, worauf er achten muss und wie er mit der Zeit schlauer wird. So funktioniert es, unterteilt in drei einfache Teile:
1. Der „Smarte Filter“ (Geld und Zeit sparen)
Stellen Sie sich vor, Sie schauen ein 30-minütiges Video von einer Person, die durch einen Wald wandert.
- Der alte Weg: Die KI versucht, jeden einzelnen Frame (jedes Bild pro Zehntelsekunde) zu analysieren. Es ist, als würde man einen Menschen bitten, jedes einzelne Blatt an jedem Baum zu beschreiben, selbst wenn sich die Kamera nicht bewegt. Das kostet ein Vermögen an Rechenleistung.
- Der VisualClaw-Weg: VisualClaw hat einen „smarten Filter“, der auf Ihrem Gerät läuft (wie auf Ihrer Brille oder Ihrem Telefon), noch bevor das Video die Cloud erreicht. Er agiert wie ein Sicherheitswachmann in einem Museum.
- Wenn die Kamera nur leicht wackelt oder die Szene langweilig ist (statisch), sagt der Wachmann: „Überspringen, hier passiert nichts Neues.“
- Wenn die Kamera um eine Ecke biegt oder etwas Wichtiges passiert, sagt der Wachmann: „Stopp! Das ist ein Schlüsselmoment. Senden Sie diesen Frame an den Chef.“
- Ergebnis: Anstatt 1.800 Frames für ein 30-minütiges Video zu senden, sendet es vielleicht nur 5 oder 6. Dies senkt die Kosten um 98 % und macht das System schnell genug, um auf Echtzeit-Geräten wie KI-Brillen zu laufen.
2. Das „Lebendige Handbuch“ (Schlauer werden, ohne umzuverdrahten)
Die meisten KI-Modelle sind wie eingefrorene Statuen: Sobald sie gebaut wurden, können sie nicht aus ihren Fehlern lernen, ohne komplett neu gebaut zu werden (was schwierig und teuer ist).
- Der alte Weg: Wenn eine KI bei einer Aufgabe scheitert, scheitert sie einfach. Beim nächsten Mal versucht sie dasselbe und scheitert wieder.
- Der VisualClaws-Weg: VisualClaw führt ein lebendiges Handbuch (eine „Skill Bank“).
- Wenn die KI einen Fehler macht, schaut sich ein separater „Coach“ (ein Offline-Evolver) an, was schiefgelaufen ist.
- Der Coach schreibt eine neue Regel oder einen Tipp in das Handbuch (z. B. „Wenn man ein Seil hält, immer zuerst auf die Stabilität prüfen“).
- Beim nächsten Mal prüft die KI dieses Handbuch, bevor sie antwortet. Sie muss nicht ihr Gehirn ändern; sie liest einfach eine bessere Bedienungsanleitung.
- Der „Heiß/Kalt“-Trick: Um das Handbuch nicht zu schwer werden zu lassen, zeigt VisualClaw der KI nur die 5 relevantesten Tipps (Heiß), die gerade wichtig sind, während der Rest des Buches im Regal bleibt (Kalt), nur für den Fall. Das hält die KI schnell und fokussiert.
3. Die „Praxis-Arena“ (Testen in der realen Welt)
Die Autoren haben erkannt, dass Standardtests für diese KIs wie Multiple-Choice-Quizzes sind, bei denen man nur eine Antwort auswählt. Aber in der realen Welt muss eine KI tatsächlich Dinge tun: Dateien öffnen, Dokumente bearbeiten und prüfen, ob ihre Arbeit korrekt ist.
- Um dies zu beheben, haben sie einen neuen Test namens VisualClawArena entwickelt.
- Denken Sie an dies als ein Videospiel-Level, in dem die KI:
- Ein Videoclip ansieht.
- Ein Chat-Protokoll oder ein Dokument liest.
- Eine Datei auf einem Computer öffnet.
- Einen Fehler korrigiert oder einen Bericht schreibt.
- Eine „Prüfung“ besteht, um zu beweisen, dass sie die Aufgabe richtig erledigt hat.
- Dies testet, ob die KI tatsächlich die Video-Beweise nutzen kann, um reale Probleme zu lösen, anstatt nur die richtige Antwort zu raten.
Die Ergebnisse: Was ist passiert?
Als sie VisualClaw testeten:
- Es wurde schlauer: In den meisten Tests wurde die KI genauer, weil sie aus ihren vergangenen Fehlern mithilfe des „Lebendigen Handbuchs“ gelernt hat.
- Es wurde günstiger: Da der „Smarte Filter“ aufhörte, nutzlose Videoframes zu senden, sanken die Kosten für den Betrieb der KI bei langen Videos um fast 99 %.
- Es funktioniert in der realen Welt: Im neuen „Arena“-Test schlug die KI, die lernen und sich entwickeln kann (VisualClaw), die Standard-KI um eine deutliche Marge, was beweist, dass diese Methode bei komplexen, mehrstufigen Aufgaben hilft.
Kurz gesagt: VisualClaw ist ein KI-Assistent, der nicht alles anstarrt (spart Geld), ein Notizbuch mit den Lehren aus seinen Fehlern führt (wird schlauer) und in einer realistischen Simulation übt, um zu beweisen, dass er echte Aufgaben bewältigen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.