From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, Katzen auf Fotos zu erkennen. Sie könnten ihm einfach eine Million Bilder von Katzen zeigen, aber das ist langweilig und manchmal verwirrt der Roboter durch die Beleuchtung oder den Winkel. Ein klügerer Trick ist es, dem Roboter dieselbe Katze zu zeigen, aber verdreht, gestreckt, farblich verändert oder herangezoomt und herausgezoomt. Dies wird als „Data Augmentation“ (Datenaugmentation) bezeichnet. Es ist wie ein Kaleidoskop aus verschiedenen Ansichten, das dem Roboter zeigt, wie eine Katze wirklich aussieht, und nicht nur ein ganz bestimmtes Bild.

Lange Zeit war es ein Ratespiel, herauszufinden, wie man diese Fotos am besten verdreht und streckt. Wissenschaftler probierten entweder zufällige Kombinationen aus (Brute-Force-Methode) oder nutzten komplexe Mathematik, um das perfekte Rezept zu finden. Aber da war ein neuer Akteur auf der Bildfläche: Large Language Models (LLMs). Sie kennen sie vielleicht als superintelligente Chatbots, die Geschichten schreiben oder Code verfassen können. Die große Frage war: Könnten diese Chatbots, die großartig in Sprache sind, auch gut darin sein, den Code zu schreiben, der unsere Fotos verdreht, um den Roboter intelligenter zu machen? Die Herausforderung bestand darin, dass diese Chatbots normalerweise von Text lernen und nicht von dem Feedback: „Hat dieser Code den Roboter intelligenter gemacht?“ Diese Arbeit befasst sich genau mit diesem Problem und stellt die Frage, ob wir einen Chatbot dazu bringen können, besseren Code zum Mischen von Fotos zu schreiben, indem wir ihm die Ergebnisse zeigen, anstatt ihm nur ein Lehrbuch zu geben.

Vom Ratespiel zum intelligenten Coaching

Die Forscher der Universität Würzburg beschlossen, aufzuhören zu raten und stattdessen zu coachen. Sie wollten sehen, ob sie einen Standard-KI-Chatbot in einen Meisterkoch für Datentransformationen verwandeln konnten. Anstatt den Chatbot nur zu fragen: „Schreibe etwas Code, um Bilder zu verdrehen“, bauten sie ein System, in dem der Chatbot die Ergebnisse „schmecken“ konnte.

Die „Brute-Force“-Küche
Zuerst brauchten sie ein massives Kochbuch, um daraus zu lernen. Sie ließen den Chatbot nicht einfach nur raten; sie führten ein „Brute-Force“-Experiment durch. Stellen Sie sich einen Koch vor, der in einer Küche 6.000 Mal wahllos Zutaten mischt. Sie nahmen 6.000 verschiedene Kombinationen von Bildverformungen (wie Skalieren, Spiegeln oder Ändern der Farben) und testeten jede davon an einem einfachen Bilderkennungsmodell. Es war ihnen egal, wie das Rezept lautete; sie interessierten sich nur für die Punktzahl. Hat diese spezifische Mischung aus Verformungen dem Modell geholen, Bilder besser zu erkennen? Sie zeichneten die Punktzahl für jede einzelne Kombination auf. So entstand eine riesige Datenbank mit über 6.000 „Rezepten“ und den dazugehörigen „Geschmackspunkten“.

Dem Chatbot das Schmecken beibringen
Als Nächstes nahmen sie einen leistungsstarken Coding-Chatbot (Olympic Coder 7B) und verpassten ihm eine spezielle Diät. Sie fütterten ihn nicht nur mit Code, sondern mit Paaren aus Code und Punktzahlen. Sie zeigten dem Chatbot: „Hier ist ein Rezept, das eine niedrige Punktzahl erhalten hat. Hier ist ein Rezept, das eine hohe Punktzahl erhalten hat. Kannst du den Unterschied erkennen?“

Sie verwendeten eine Technik namens Low-Rank Adaptation (LoRA), was so ist, als würde man dem Chatbot eine spezielle Brille aufsetzen, die ihm hilft, sich auf die wichtigsten Details zu konzentrieren, ohne sein gesamtes Gehirn umschreiben zu müssen. Der Chatbot lernte, den Code zu betrachten und vorherzusagen: „Wenn ich Code wie diesen schreibe, steigt die Punktzahl. Wenn ich Code wie jenen schreibe, sinkt die Punktzahl.“ Er lernte nicht die exakten Wörter auswendig; er lernte das Gefühl dafür, was eine gute Transformation ausmacht.

Die Ergebnisse: Weniger Raten, mehr Genie
Die Ergebnisse waren überraschend eindeutig. Wenn der Chatbot gefragt wurde, Code zu schreiben, bevor dieses Training stattfand, war es ein ziemliches Desaster. Er brachte die Syntax nur etwa 22 % der Zeit korrekt hin, und die durchschnittliche Punktzahl seiner Kreationen war sehr niedrig (etwa 0,10). Es war wie ein Schüler, der nicht gelernt hat und auf einer Prüfung einfach nur wahllos Antworten hinkritzelt.

Aber nach dem Training? Da wurde der Chatbot zum Profi.

• Effizienz: Die alte „Brute-Force“-Methode musste 6.000 Zufallskombinationen ausprobieren, um die besten zu finden. Der trainierte Chatbot musste nur 280 Kandidaten testen (10 pro Tag über 28 Tage), um Lösungen zu finden, die genauso gut oder sogar besser waren. Es war, als würde man eine Nadel im Heuhaufen finden, indem man genau weiß, wo die Nadel sich gerne versteckt, anstatt den ganzen Heuhaufen durchzukämmen.
• Intelligenter, nicht nur stärker: Der Chatbot hat nicht einfach nur die besten Rezepte kopiert, die er gesehen hatte. Er hat die Logik gelernt. Zum Beispiel fand er heraus, dass das Skalieren eines Bildes auf eine bestimmte Größe (wie 256 Pixel) oft der Schlüssel zu einer hohen Punktzahl war. Er verstand die Beziehung zwischen dem Code und dem Ergebnis, anstatt nur den Code auswendig zu lernen.
• Die „Chain of Thought“-Falle: Die Forscher versuchten etwas Interessantes. Sie baten den Chatbot, „Schritt für Schritt zu denken“ und seine Argumentation zu erklären, bevor er den Code schreibt (ein populärer Trick namens „Chain-of-Thought“). Überraschenderweise machte dies die Sache schlechter. Der Chatbot war durch die zusätzlichen Wörter, die er schreiben musste, verwirrt, und seine Leistung sank. Es stellte sich heraus, dass der Chatbot für diese spezifische Aufgabe am besten funktionierte, wenn er direkt zum Code kam, ohne die langatmige Erklärung.

Was das bedeutet
Diese Arbeit legt nahe, dass wir keine komplexen Belohnungssysteme oder menschliche Lehrer brauchen, um KI besser beim Programmieren zu machen. Wir müssen der KI nur die Ergebnisse ihrer eigenen Arbeit zeigen. Indem wir eine Schleife kreieren, in der die KI Code schreibt, ihn testet und aus der Punktzahl lernt, kann sie autonom lernen, besseren Code zu schreiben.

Die Studie zeigt, dass der Chatbot zwar lernen kann, Code zu schreiben, der die Bilderkennung verbessert, aber er ist kein Zauberstab, der für alles funktioniert. Die Forscher haben dies nur an einem spezifischen Typ von Bildmodell (ResNet) und einem Datensatz (CIFAR-10) getestet. Sie deuten an, dass die beste Art, ein Bild zu verformen, stark von dem spezifischen Roboter und den spezifischen Bildern abhängen kann, die er betrachtet. Aber die wichtigste Erkenntnis ist aufregend: KI kann lernen, ein besserer Ingenieur zu werden, indem sie einfach beobachtet, was funktioniert und was nicht – und so ein chaotisches Ratespiel in eine intelligente, geführte Entdeckungsreise verwandelt.