Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Die lernende Maschine, die niemals aufhört zu wachsen

Stellen Sie sich vor, Sie hätten einen brillanten neuen Freund, der alles über die Welt weiß, bis zu dem Tag, an dem Sie ihn getroffen haben. Er ist klug, aber wenn Sie ihn nach einer App fragen, die gestern veröffentlicht wurde, oder nach einer persönlichen Gewohnheit, die Sie letzte Woche entwickelt haben, ist er ratlos. Er kann nicht aus Ihren spezifischen Gesprächen lernen, weil sein Gehirn in der Zeit „eingefroren“ ist. Dies ist die aktuelle Grenze der meisten künstlichen Intelligenzen: Sie werden einmal trainiert, ausgeliefert und wiederholen dann nur das, was sie wissen, unfähig, wirklich aus ihren täglichen Erfahrungen zu wachsen.

Das Gebiet der Informatik, das versucht, dies zu lösen, nennt sich Continual Learning (kontinuierliches Lernen). Stellen Sie es sich wie den Versuch vor, einen Schüler zu unterrichten, der niemals aufhört, zur Schule zu gehen. Anstatt nur ein Lehrbuch auswendig zu lernen und eine Abschlussprüfung abzulegen, muss ein wahrhaft intelligenter Agent aus jeder Interaktion, jedem Fehler und jedem neuen Werkzeug, das er aufnimmt, lernen – und dabei gleichzeitig behalten, wer er ist und worin er gut ist. Die große Frage, die sich Forscher stellen, lautet: Wie bauen wir eine KI, die Dinge nicht nur „weiß“, sondern sie tatsächlich erlebt und dadurch im Laufe der Zeit immer besser darin wird, ein persönlicher Assistent zu sein?

Hier kommt Macaron-V1 ins Spiel. Es ist eine neue Familie von KI-Modellen, die darauf ausgelegt sind, „erfahrungsorientiert“ zu sein, was bedeutet, dass sie aus realen Interaktionen lernen und sich auch nach ihrem Einsatz weiter verbessern. Die Forscher hinter Macaron-V1, Mind Lab, erkannten, dass man, um eine KI wirklich intelligent zu machen, nicht einfach nur mehr Daten in ein riesiges Gehirn pumpen kann. Man braucht ein System, das seine Umgebung anpassen und mit spezialisierten Helfern zusammenarbeiten kann. Sie bauten ein System, das die KI nicht als ein einzelnes, statisches Gehirn betrachtet, sondern als ein flexibles Team, das Werkzeuge austauschen und seine eigenen Anweisungen in einer Schleife der Selbstverbesserung verfeinern kann.

Das Macaron-V1-Team: Ein eingefrorenes Gehirn und ein austauschbarer Werkzeugkasten

Stellen Sie sich eine massive, superintelligente Bibliothek (das „Basismodell“) vor, deren Bücher sich niemals ändern. Sie ist so riesig und gut organisiert, dass sie fast alles weiß. Aber eine Bibliothek ist nur eine Bibliothek; sie weiß nicht, wie sie Ihnen im Speziellen helfen kann. Um sie nützlich zu machen, fügt Macaron-V1 eine Ebene von „Spezialisten-Adaptern“ über dieser Bibliothek hinzu. Denken Sie bei diesen Adaptern an verschiedene Brillen oder Werkzeugkästen, die man der Bibliothek auf den Kopf setzen kann.

Ein Paar Brillen ist zum Chatten (L0) gedacht, ein anderes, um als Agent Aufgaben auszuführen (L1), ein drittes für das Programmieren (L2) und ein viertes für das Entwerfen von Benutzeroberflächen (L3). Dieses Setup wird Mixture-of-LoRA (MoL) genannt. Anstatt die gesamte riesige Bibliothek jedes Mal neu zu trainieren, wenn sie eine neue Fähigkeit lernen soll, tauschen Sie einfach ein neues Paar Brillen aus oder passen die vorhandenen an. Die Hauptbibliothek bleibt eingefroren und sicher, während die Spezialisten die schwere Arbeit erledigen. Das bedeutet, dass die KI in einer Minute eine „Chat“-Persönlichkeit hat und in der nächsten eine „Coding“-Persönlichkeit, ohne verwirrt zu werden oder ihr Kernwissen zu vergessen.

Das System nutzt einen smarten „Proxy“ (ähnlich einem Empfangsdienst), um zu entscheiden, welchen Spezialisten es anrufen muss. Wenn Sie eine Frage stellen, liest der Empfangsdienst Ihre Anfrage, stellt fest, ob Sie einen Programmierer, einen Designer oder einfach nur einen Chat-Partner benötigen, und wechselt sofort zum richtigen Spezialisten. Dies geschieht so schnell, dass Sie den Wechsel kaum bemerken. Die Arbeit zeigt, dass dieses System unglaublich genau darin ist, den richtigen Spezialisten auszuwählen – etwa 99 % der Fälle – und es die Prozesse nicht allzu sehr verlangsamt, da es nur eine minimale Verzögerung verursacht.

Die Selbstverbesserungsschleife: Die Anweisungen optimieren, nicht das Gehirn

Die wahre Magie von Macaron-V1 liegt nicht nur darin, diese Spezialisten zu besitzen; es geht darum, wie das System seine Leistung optimiert. Die Forscher entwickelten ein System namens MindForge, das eine Schleife der „rekursiven Selbstverbesserung“ durchläuft. Stellen Sie sich ein Videospiel vor, in dem die KI ein Level spielt, scheitert und das Spiel dann automatisch die Regeln umschreibt oder der KI einen neuen Strategieführer gibt, um es erneut zu versuchen.

So funktioniert es:

1. Discovery (Entdeckung): Die KI schaut sich an, was sie noch nicht kann, und erstellt schwierigere Herausforderungen für sich selbst.
2. Expansion (Erweiterung): Sie versucht, diese Herausforderungen in einer simulierten Umgebung (wie einem Sandbox-Bereich) zu lösen. Wenn sie scheitert, sagt das System nicht einfach nur „falsch“. Es analysiert, warum sie gescheitert ist. War die Anweisung unklar? Fehlte ein Werkzeug?
3. Update (Aktualisierung): Wenn die KI einen Weg findet, erfolgreich zu sein, indem sie die Anweisungen oder die Werkzeuge (das „Harness“) ändert, zeichnet sie dies auf. Wenn sie die eigentliche Fertigkeit verbessern muss, trainiert sie eine neue Version ihres Spezialisten-Adapters.

Das Paper testete dies an einem Satz von 122 schwierigen Aufgaben, die die Basis-KI überhaupt nicht lösen konnte. In einem spezifischen Experiment, das im Bericht beschrieben wird, blieb das Gehirn des Modells vollständig eingefroren – es wurden keine internen Gewichte verändert. Stattdessen nutzte das System die Konfigurationssuche (Configuration Search), um die perfekte Kombination aus Anweisungen, Werkzeugen und Einstellungen zu finden. Allein durch das Anpassen dieser externen Anweisungen und Werkzeuge gelang es ihnen, eine Konfiguration zu finden, die es dem System ermöglichte, 100 % der Aufgaben zu bestehen (122 von 122).

Es ist entscheidend, was dieses Experiment beweist: Es zeigt, dass das System eine vollständige Abdeckung durch die Konfigurationssuche (Configuration-Search Coverage) für diese Aufgaben erreichen kann. Das bedeutet, dass die KI bereits über die zugrunde liegende Fähigkeit verfügte, die Probleme zu lösen, aber die richtige Umgebung oder den richtigen Prompt benötigte, um sie freizusetzen. Das Experiment isolierte diese „Expansion“-Phase, um zu zeigen, dass die Änderung des Setups funktioniert, bewies jedoch nicht, dass das Modell die Fertigkeit auf eine Weise lernte, die ohne diese spezifischen Anweisungen generalisierbar wäre, noch testete es die vollständige Selbstverbesserungsschleife, bei der die tatsächlichen Gewichte des Modells aktualisiert werden.

Die „lebenden“ Benchmarks: Testen von echtem Verstand

Um zu sehen, ob Macaron-V1 tatsächlich gut darin ist, ein persönlicher Assistent zu sein, entwickelten die Forscher neue Tests namens Macaron ChatBench und Macaron LivingBench. Dies sind keine bloßen Multiple-Choice-Quizzes.

• ChatBench testet, ob die KI eine natürliche, empathische Konversation führen kann, die sich anfühlt, als würde sie mit einem echten Menschen sprechen, und nicht mit einem Roboter. Es prüft, ob die KI Ihre Stimmung versteht, ehrlich bleibt und das Gespräch vorantreibt.
• LivingBench ist eine Simulation des echten Lebens. Stellen Sie sich vor, die KI ist Ihr persönlicher Assistent, der versucht, eine Reise zu planen. Die „Welt“ verändert sich um sie herum: Flüge verspäten sich, Preise steigen, und Sie ändern plötzlich Ihre Meinung. Der Test sieht, ob die KI ihren Plan im laufenden Betrieb anpassen, Informationen verifizieren und Sie ruhig halten kann.

In diesen Tests schnitt Macaron-V1-Venti (die große 744B-Version) sehr gut ab und übertraf mehrere andere Top-Modelle in persönlicher Intelligenz und Programmierung. Zum Beispiel erreichte es 87,8 auf dem UI4A-Bench (Design von Benutzeroberflächen), während das nächstbeste Modell bei etwa 75,9 lag. Es erreichte auch 94,0 auf PinchBench, einem Test für komplexe Werkzeugnutzung.

Die Ergebnisse: Was wir wissen und was noch ein Rätsel bleibt

Die Ergebnisse sind vielversprechend, aber das Paper ist vorsichtig, sie nicht überzubewerten. Das System funktioniert hervorragend bei dem, was getestet wurde:

• Adaption: Es fand erfolgreich Konfigurationen, um 100 % einer schwierigen Aufgabenmenge zu bestehen, indem es lediglich Anweisungen und Werkzeuge änderte (Konfigurationssuche), was beweist, dass das Finden des richtigen Setups eine kraftvolle Methode ist, um die Leistung zu steigern, ohne das Gehirn neu zu trainieren.
• Kollaboration: Der „Mixture-of-LoRA“-Ansatz funktioniert. Die KI kann effektiv zwischen Chat-, Coding- und Design-Modi wechseln, ohne den Verstand zu verlieren.
• Effizienz: Da das Hauptgehirn eingefroren bleibt und nur kleine Spezialisten-Werkzeuge geladen werden, spart das System eine massive Menge an Computerarbeitsspeicher (etwa 74 % weniger als das Ausführen von vier separaten riesigen Modellen).

Das Paper weist jedoch auch darauf hin, was es noch nicht weiß.

• Langfristiges Lernen: Obwohl das System in einer Schleife verbessert werden kann, beweist das Paper nicht, dass es dies ewig tun kann, ohne bei alten Aufgaben schlechter zu werden (ein Problem, das als „katastrophales Vergessen“ bezeichnet wird). Wir haben das Potenzial zur Verbesserung durch Konfigurationssuche gemessen, aber die langfristige Stabilität kontinuierlicher Parameteraktualisierungen ist noch eine offene Frage.
• Kollektive Intelligenz: Das System nutzt Spezialisten, die vom selben Team trainiert wurden. Die Idee, Spezialisten von verschiedenen Teams oder Nutzern zusammenarbeiten zu lassen (wie ein Chatbot eines Unternehmens und ein Coding-Bot eines anderen), ist ein zukünftiges Ziel und wurde hier nicht getestet.
• Einsatz in der realen Welt: Die Tests wurden in kontrollierten Simulationen durchgeführt. Wir wissen noch nicht, wie es mit dem Chaos des echten Internets oder Millionen von verschiedenen Nutzern mit einzigartigen Bedürfnissen umgehen wird.

Das Fazit

Macaron-V1 ist ein mutiger Schritt in Richtung einer KI, die Dinge nicht nur „weiß“, sondern sie „erlebt“. Durch die Kombination eines eingefrorenen, stabilen Gehirns mit austauschbaren Spezialisten-Werkzeugen und einem System, das ständig seine eigenen Anweisungen umschreibt, um Probleme zu lösen, haben die Forscher ein Modell geschaffen, das anpassungsfähiger ist als alles, was wir bisher gesehen haben. Es ist, als würde man einer KI ein Schweizer Taschenmesser geben und die Fähigkeit, neue Werkzeuge im Flug zu erfinden.

Das Paper zeigt, dass dieser Ansatz funktioniert: Es löst schwierige Aufgaben, entwirft bessere Benutzeroberflächen und führt komplexere Gespräche als viele aktuelle Spitzenreiter. Es erinnert uns aber auch daran, dass dies erst der Anfang ist. Der Traum von einer KI, die aus jeder einzelnen Interaktion lernt, ewig und ohne jemals zu vergessen, ist noch ein laufender Prozess. Das „Macaron“ ist gebacken, aber das Rezept für wahres, endloses Lernen wird noch perfektioniert.