IronEngine: Towards General AI Assistant

Der Artikel stellt IronEngine vor, eine umfassende KI-Assistentenplattform mit einem einheitlichen Orchestrierungskern, die durch einen dreistufigen Planungs- und Ausführungsprozess, eine adaptive Modellverwaltung und eine robuste Werkzeugintegration eine zuverlässige Automatisierung für allgemeine Aufgaben ermöglicht.

Das Wesentliche

Stell dir vor, du möchtest einen persönlichen Assistenten, der nicht nur mit dir plaudert, sondern wirklich Dinge für dich erledigt: Dateien sortieren, im Internet recherchieren, Programme steuern und sogar deine E-Mails schreiben.

Das ist das Ziel von IronEngine. Aber anstatt einfach nur eine super-intelligente KI zu nehmen, die alles versucht, hat der Autor Xi Mo einen cleveren System-Entwurf geschaffen, der eher wie ein gut organisiertes Büro funktioniert als wie ein einzelner Super-Held.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Ein-Mann-Show"-Fehler

Die meisten heutigen KI-Assistenten sind wie ein Ein-Mann-Show-Team: Ein einziger KI-Modell versucht, alles zu tun. Es muss planen, nachdenken, die Werkzeuge bedienen und die Antwort formulieren – alles gleichzeitig.

• Das Problem: Ein riesiger KI-Modell ist wie ein Professor, der Mathematik lösen kann, aber sich beim Ausfüllen eines einfachen Formulars verirrt. Ein kleiner KI-Modell ist schnell und billig, kann aber komplexe Pläne nicht machen.
• IronEngine-Lösung: Statt einen Super-Helden zu suchen, baut IronEngine ein Team.

2. Die drei Phasen: Der "Büro-Workflow"

IronEngine arbeitet nicht in einem Rutsch, sondern in drei klaren Schritten, wie ein gut gemanagtes Projektbüro:

• Phase 1: Die Besprechung (Discussion)

  • Der Planer (Planner): Ein intelligenter KI-Modell (der "Architekt") hört sich deine Aufgabe an und schreibt einen detaillierten Plan. "Zuerst such ich im Internet, dann schreib ich die Datei, dann sende ich die E-Mail."
  • Der Prüfer (Reviewer): Ein zweiter KI-Modell (der "Qualitätskontrolleur") liest den Plan. "Halt! Hast du wirklich nachgeprüft, ob die Datei existiert? Das klingt zu gut, um wahr zu sein."
  • Das Ergebnis: Sie diskutieren, bis der Plan perfekt ist. Erst wenn der Prüfer grünes Licht gibt, geht es weiter. Das verhindert, dass die KI Dinge tut, die sie gar nicht kann (Halluzinationen).

• Phase 2: Der Wechsel (Model Switch)

  • Hier passiert Magie mit dem Computer-Speicher (VRAM). Der "Architekt" und der "Prüfer" werden aus dem Arbeitsspeicher des Computers geworfen, um Platz zu machen.
  • Stattdessen wird der Ausführer (Executor) geladen. Das ist ein kleinerer, schnellerer KI-Modell, der spezialisiert ist darauf, Befehle genau so auszuführen, wie sie sind.
  • Vergleich: Stell dir vor, der Architekt verlässt den Raum, damit der Handwerker mit seinen Werkzeugen arbeiten kann, ohne dass der Architekt im Weg steht.

• Phase 3: Die Ausführung (Execution)

  • Der Handwerker führt den Plan Schritt für Schritt aus. Er klickt, tippt, sucht im Internet und speichert Dateien.
  • Wenn er auf ein Hindernis stößt, meldet er sich zurück, und der Prozess beginnt vielleicht von vorne.

3. Das Werkzeug-Regal: Der "Übersetzer"

KI-Modelle sind manchmal etwas verwirrt. Sie sagen vielleicht "Suche im Web", meinen aber "Öffne den Browser".

• IronEngine hat einen intelligenten Werkzeug-Router. Das ist wie ein Übersetzer im Büro.
• Egal, ob die KI sagt "googeln", "suchen", "browse" oder "web_read" – der Router weiß: "Aha, das ist alles dasselbe!" und leitet den Befehl an das richtige Werkzeug weiter.
• Wenn die KI einen Fehler macht (z. B. "Lösche diese Datei" statt "Öffne sie"), korrigiert das System den Fehler automatisch, bevor er Schaden anrichtet.

4. Das Gedächtnis: Nicht nur ein Notizblock

Die meisten KIs vergessen alles, sobald du das Fenster schließt. IronEngine hat ein mehrschichtiges Gedächtnis:

• Kurzzeitgedächtnis: Was wir gerade besprechen.
• Tageszusammenfassung: Am Ende des Tages fasst die KI zusammen, was wichtig war.
• Langzeitwissen: Wenn du eine Aufgabe oft gut machst (z. B. "Wie man eine PDF in eine E-Mail anhängt"), lernt die KI das als Fertigkeit (Skill).
• Vergleich: Es ist wie ein Mitarbeiter, der nicht nur Notizen macht, sondern aus Fehlern lernt und nach einer Weile weiß: "Oh, das habe ich schon mal gemacht, ich weiß genau, wie das geht!"

5. Warum ist das besonders? (Privatsphäre & Hardware)

• Lokal & Sicher: IronEngine ist dafür gemacht, auf deinem eigenen Computer zu laufen (z. B. mit einer normalen Grafikkarte). Deine Daten verlassen deinen PC nicht. Das ist wie ein Assistent, der in deinem Keller arbeitet, statt in einer fremden Cloud.
• Kosteneffizient: Weil es verschiedene KI-Modelle für verschiedene Aufgaben nutzt, musst du nicht den teuersten Super-Computer für alles benutzen. Kleine Aufgaben erledigt ein kleiner, schneller KI; komplexe Aufgaben ein größerer.

Zusammenfassung in einem Bild

Stell dir IronEngine nicht als einen einzelnen Roboter vor, der alles kann. Stell es dir vor wie ein gut organisiertes Restaurant:

• Der Koch (Planner) denkt sich das Menü aus.
• Der Kellner (Reviewer) prüft, ob das Menü machbar ist und ob der Gast zufrieden sein wird.
• Der Kellner (Executor) bringt das Essen raus und bedient den Gast.
• Der Kellner weiß genau, wo die Gläser stehen (Werkzeuge) und hat ein Gedächtnis, was der Gast beim letzten Mal bestellt hat (Gedächtnis/Skills).

IronEngine zeigt uns, dass man für einen wirklich nützlichen KI-Assistenten nicht unbedingt eine einzige, riesige Super-KI braucht, sondern ein kluges System, das die richtigen Werkzeuge zur richtigen Zeit in die richtigen Hände gibt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „IronEngine: Towards General AI Assistant" auf Deutsch:

1. Problemstellung (Herausforderungen)

Das Paper identifiziert fünf systemische Probleme in aktuellen KI-Assistenten, die IronEngine adressiert:

• Fragmentierung: Bestehende Systeme (z. B. ChatGPT, Cursor, Open Interpreter) sind isolierte Endpunkte. Nutzer müssen zwischen verschiedenen Tools wechseln, um Desktop-Automatisierung, Websuche, Dateimanipulation und Messaging zu kombinieren. Es fehlt eine einheitliche Orchestrierungsschicht.
• Single-Model-Flaschenhals: Die meisten Systeme nutzen ein einziges Modell für Planung, Bewertung und Ausführung. Dies führt zu Ineffizienz: Große Modelle (30B+ Parameter) verschwenden Ressourcen bei einfachen Aufgaben, während kleine Modelle (3–8B) oft keine kohärente Mehrschritt-Planung leisten können.
• Flüchtige Assistenten (Ephemeral Assistant): Aktuelle Systeme sind meist zustandslos über Sitzungen hinweg. Es fehlt an persistenter, hierarchischer Erinnerung, gelernten Fähigkeiten (Skills) und Mechanismen zur Aktualisierung veralteter Informationen.
• Herausforderungen bei lokaler Bereitstellung: Datenschutzsensitive Anwendungen erfordern lokale Inferenz. Dies stellt jedoch hohe Anforderungen an das VRAM-Management (Video-RAM), die Heterogenität der Modelle und die intelligente Ressourcenplanung auf Consumer-Hardware.
• Tool-Integrationsprobleme: Es gibt keine einheitliche Dispatch-Schicht. Modelle machen häufig Fehler bei der Tool-Nennung (z. B. falsche Tool-Typen), und es fehlen Mechanismen wie Alias-Normalisierung oder automatische Fehlerkorrektur.

2. Methodik und Architektur

IronEngine ist eine umfassende Systemarchitektur, die auf einem einheitlichen Orchestrierungskern basiert und in vier Schichten unterteilt ist: Interaktion, Orchestrierung, Fähigkeiten und Umgebung.

Kerninnovation: Die Drei-Phasen-Pipeline

Das Herzstück von IronEngine ist eine Pipeline, die Planung von Ausführung trennt und verschiedene Modelle für verschiedene Rollen nutzt:

1. Phase 1: Diskussion (Planning & Review):
   • Ein Planner-Modell (z. B. 27B Parameter) erstellt einen Plan basierend auf Kontext und Werkzeugen.
   • Ein Reviewer-Modell (z. B. 20B Parameter) bewertet den Plan auf Qualität, Halluzinationen und Vollständigkeit.
   • Ein strukturierter Feedback-Loop (ISSUES + SUGGESTIONS) erlaubt dem Planner, den Plan zu verfeinern, bis eine Qualitätschwelle erreicht ist.
2. Phase 2: Model Switch (VRAM-bewusst):
   • Um VRAM auf einer einzelnen GPU (z. B. 24 GB) zu sparen, werden Planner und Reviewer entladen, bevor das Executor-Modell (z. B. 3.8B Parameter) geladen wird.
   • Dies ermöglicht den Einsatz heterogener Modellgrößen auf Consumer-Hardware.
3. Phase 3: Ausführung (Execution):
   • Der Executor führt die Tools iterativ aus.
   • Ein Tool Router leitet Befehle intelligent weiter, normalisiert Aliase (über 130+ Varianten) und korrigiert automatisch Tool-Typ-Fehler (z. B. Umleitung von cli zu file_ops bei Dateipfaden).

Weitere Schlüsselkomponenten

• Hierarchisches Gedächtnis (MemoMap): Organisiert Erinnerungen in vier Ebenen (Session, Pipeline, Tageszusammenfassung, verfeinertes Wissen). Es nutzt zwei Merge-Strategien (schnelle Deduplizierung und modellbasierte Konsolidierung) und integriert Nutzerbewertungen zur Priorisierung.
• Vektorisierte Skill-Repository (SkillStore): Nutzt ChromaDB, um erfolgreiche Abläufe als wiederverwendbare Skills zu speichern. Skills werden automatisch gelernt (bei hoher Bewertung) und können rekursiv erweitert werden.
• Adaptives Modellmanagement: Ein VRAM-bewusstes Kontext-Budgeting berechnet dynamisch, wie viele Tokens basierend auf verfügbarer VRAM-Kapazität geladen werden können. Ein gestuftes Prompt-System (Tiered Prompt System) passt die Komplexität der System-Prompts (SOUL) an die Modellgröße an.
• Sicherheit: Umfasst Sandboxing, URL-Sicherheitsprüfungen, Berechtigungsmanagement (Auto/Ask/Deny) und eine „Defense-in-Depth"-Strategie.

3. Wichtige Beiträge

• Architektonische Trennung von Planung und Ausführung: Durch die Entkopplung von Planner, Reviewer und Executor wird die Qualitätssicherung von der Ausführungsfähigkeit getrennt, was die Zuverlässigkeit bei lokalen Modellen erhöht.
• Intelligentes Tool-Routing: Ein System mit 24 Tool-Kategorien, das Alias-Normalisierung und automatische Fehlerkorrektur bietet, um die Schwächen kleinerer Modelle bei der Tool-Auswahl auszugleichen.
• VRAM-optimiertes Multi-Modell-Orchestrieren: IronEngine demonstriert, wie mehrere große Modelle (insgesamt >50B Parameter) sequentiell auf einer einzelnen Consumer-GPU (RTX 3090) betrieben werden können, ohne dass alle gleichzeitig im VRAM liegen müssen.
• Lokale Persistenz und Skill-Learning: Ein System, das nicht nur Konversationen speichert, sondern strukturiertes Wissen und Fähigkeiten über Sitzungen hinweg lernt und aktualisiert.
• MCP-Kompatibilität: Integration des Model Context Protocol (MCP) für die Erweiterung durch externe Tools.

4. Ergebnisse und Evaluation

Die Evaluation wurde auf einer lokalen Workstation (NVIDIA RTX 3090, 24 GB VRAM) mit lokalen Modellen durchgeführt:

• Datei-Operationen Benchmark: IronEngine erreichte 100% Erfolgsrate (4/4 Aufgaben) bei komplexen Dateipfaden (mit Leerzeichen, Sonderzeichen). Die durchschnittliche Ausführungszeit pro Aufgabe betrug ca. 385 Sekunden (hauptsächlich durch lokale Inferenz bedingt).
• Tool-Routing-Accuracy: Das System erzielte 100% Genauigkeit bei der Tool-Zuweisung, wobei die automatische Korrekturmechanismen (z. B. Umleitung von cli zu file_ops) alle Modellfehler abfingen.
• Qualitätssteigerung durch Reviewer: In Tests verbesserte der Reviewer die Planqualität kleinerer Planner-Modelle (14B) von anfänglichen Scores von 0,10–0,20 auf 0,80–0,85 nach einem Feedback-Round. Größere Modelle (27B) erreichten oft bereits im ersten Durchlauf akzeptable Qualität.
• Ressourceneffizienz: Durch das sequentielle Laden von Modellen (Planner/Reviewer -> Executor) blieb der VRAM-Verbrauch innerhalb der Grenzen der RTX 3090, trotz des Einsatzes von Modellen mit 27B und 20B Parametern.
• Vergleich mit anderen Systemen: IronEngine bietet im Vergleich zu Cloud-Lösungen (ChatGPT, Claude) und anderen Open-Source-Frameworks (OpenClaw, AutoGen) die breiteste Tool-Abdeckung (24 Kategorien), die tiefste Orchestrierung (Plan-Review-Execute) und vollständige lokale Datenschutzfähigkeit.

5. Bedeutung und Fazit

IronEngine stellt einen Paradigmenwechsel dar: Anstatt nur die Modellkapazität zu optimieren, konzentriert es sich auf Systemarchitektur und Orchestrierung.

• Praktische Anwendbarkeit: Es zeigt, dass mittelgroße, lokale Open-Source-Modelle durch sorgfältiges Systemdesign (Rollen-Trennung, Fehlerkorrektur, Gedächtnismanagement) für komplexe, allgemeine Assistenzaufgaben nutzbar gemacht werden können.
• Datenschutz: Es ermöglicht leistungsfähige KI-Assistenten in rein lokalen Umgebungen, was für sensible Daten (Medizin, Finanzen, Unternehmensgeheimnisse) entscheidend ist.
• Zukunftsperspektive: Das System dient als Fundament für die nächste Generation von KI-Assistenten, die nicht nur konversational sind, sondern echte Aufgaben auf dem Desktop ausführen, dabei lernen und sich anpassen.

Das Paper unterstreicht, dass die Zukunft von KI-Assistenten weniger von einzelnen „Super-Modellen" abhängt, sondern von der intelligenten Integration von Orchestrierung, Sicherheit, Speicher und Werkzeugen in einer kohärenten Plattform.