LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

Die Arbeit stellt LeJOT-AutoML vor, ein von LLM-Agenten gesteuertes AutoML-Framework, das durch die automatische Generierung und Validierung von Laufzeitfeatures die Vorhersage von Job-Ausführungszeiten in Databricks beschleunigt und so die Orchestrierungskosten um 19,01 % senkt.

Lizhi Ma, Yi-Xiang Hu, Yihui Ren, Feng Wu, Xiang-Yang Li

Veröffentlicht 2026-03-10
📖 5 Min. Lesezeit🧠 Tiefgang

Each language version is independently generated for its own context, not a direct translation.

🚀 LeJOT-AutoML: Der KI-Coach für den Cloud-Tarif

Stell dir vor, du leitest eine riesige Flotte von Lieferwagen (das sind die Databricks-Jobs in der Cloud). Deine Aufgabe ist es, jeden Auftrag so günstig wie möglich zu erledigen, aber trotzdem pünktlich zu liefern.

Das Problem? Du weißt nie genau, wie lange eine Lieferung dauert.

  • Manchmal ist die Straße leer (schnell).
  • Manchmal gibt es Stau oder ein riesiges Paket, das schwer zu tragen ist (langsam).
  • Und manchmal ändert sich das Wetter mitten auf der Strecke (die Daten ändern sich).

Wenn du den falschen LKW wählst, zahlst du zu viel für einen riesigen Truck, der nur eine kleine Kiste bringt. Wenn du den falschen wählst, kommt die Ware zu spät. Bisher mussten menschliche Experten stundenlang nachschauen, welche Daten sie sammeln mussten, um die Fahrzeit vorherzusagen. Das dauerte Wochen und war oft veraltet, sobald sich die Straßenbedingungen änderten.

LeJOT-AutoML ist die Lösung: Ein Team aus KI-Agenten, das diese Aufgabe automatisch, schnell und klüger erledigt.


🧩 Das Problem: Der „versteckte" Stau

Früher haben die Experten nur auf die Karte geschaut (die statischen Daten: Wie groß ist das Paket? Wie viele Straßen gibt es?). Aber das reicht nicht.

  • Der Stau entsteht erst unterwegs: Erst wenn der LKW fährt, sieht man, ob eine Kreuzung blockiert ist (Daten-Verzerrung) oder ob ein LKW zu viele Pakete auf einmal laden muss (Shuffle-Amplifikation).
  • Die Daten sind verstreut: Die Informationen über den Stau liegen in verschiedenen Büchern: im Fahrtenbuch (Logs), im LKW-Handbuch (Metadaten) und im Kopf des Fahrers (Skripte).

Menschen mussten diese Informationen mühsam zusammenflicken. Das war langsam und fehleranfällig.


🤖 Die Lösung: Das KI-Agenten-Team

LeJOT-AutoML setzt nicht auf einen einzelnen Super-Computer, sondern auf ein Team von KI-Assistenten, die wie eine gut organisierte Werkstatt zusammenarbeiten. Sie nutzen ein großes Sprachmodell (LLM), das wie ein sehr gebildeter Ingenieur denkt, und verbinden es mit Werkzeugen, die wie eine Werkstatt-Ausstattung sind.

Hier sind die drei Hauptakteure:

1. Der Detektiv (Feature Analyzer Agent)

Stell dir ihn als einen erfahrenen Ermittler vor.

  • Was er tut: Er liest alle alten Fahrtenbücher, Handbücher und Logbücher.
  • Seine Magie: Er nutzt eine Art „Wissens-Bibliothek" (RAG), um zu verstehen, welche Faktoren wirklich wichtig sind. Er sagt: „Hey, wir müssen nicht nur die Größe des Pakets zählen, sondern auch, wie oft der Fahrer anhalten musste!"
  • Ergebnis: Er erstellt eine Liste von Dingen, die wir messen sollten (über 200 verschiedene Merkmale!).

2. Der Handwerker (Feature Extraction Agent)

Dieser Agent hat die Hände im Einsatz. Er ist nicht nur ein Denker, sondern ein Macher.

  • Was er tut: Er nimmt die Liste des Detektivs und geht los, um die Daten zu sammeln.
  • Seine Werkzeuge (MCP): Er nutzt spezielle Werkzeuge, um in die Logs zu schauen, die Datenbank abzufragen oder eine sichere Testumgebung (Sandbox) zu nutzen, um zu sehen, was passiert, bevor der echte Job läuft.
  • Wichtig: Er arbeitet in einer Sicherheitszone. Er darf keine Daten stehlen, die er noch nicht haben darf (z. B. darf er nicht die Fahrzeit nach dem Rennen kennen, um sie vorher zu erraten).

3. Der Prüfer (Feature Evaluation Agent)

Ein strenger Qualitätsmanager.

  • Was er tut: Er schaut sich die gesammelten Daten an. Sind sie nützlich? Sind sie verzerrt?
  • Feedback-Schleife: Wenn die Daten schlecht sind, sagt er dem Detektiv und dem Handwerker: „Das hier bringt uns nichts, versucht es nochmal anders!"
  • Sicherheitsgitter: Bevor etwas genutzt wird, prüft er zweimal:
    1. Code-Check: Ist der Code fehlerfrei?
    2. Datenschutz-Check: Enthält der Code keine „Zukunftsinformationen" (Label Leakage)?

⏱️ Der große Unterschied: Wochen vs. Minuten

Stell dir vor, du möchtest ein neues Rezept für eine Suppe entwickeln.

  • Der alte Weg (Manuell): Ein Koch (Experte) schmeckt die Suppe, schreibt ein Rezept auf, kocht sie, schmeckt wieder, ändert Gewürze. Das dauert Wochen. Wenn sich die Zutaten ändern (neue Daten), muss er alles neu machen.
  • Der LeJOT-Weg (AutoML): Ein KI-Koch-Team probiert tausende Kombinationen aus. Der Detektiv schlägt vor, der Handwerker kocht, der Prüfer schmeckt.
    • Ergebnis: In 20 bis 30 Minuten haben sie ein perfektes Rezept mit über 200 Zutaten (Features) entwickelt.
    • Vorteil: Wenn sich die Zutaten morgen ändern, passt sich das Team sofort an.

💰 Das Ergebnis: Geld sparen ohne Chaos

In der echten Welt (bei Lenovo und der Uni) hat dieses System gezeigt:

  1. Geschwindigkeit: Was früher einen Monat dauerte, geht jetzt in einer halben Stunde.
  2. Genauigkeit: Die Vorhersagen sind fast so gut wie die von Menschen (wenn auch nicht ganz perfekt), aber sie sind viel flexibler.
  3. Kosten: Durch die bessere Planung der LKWs (Rechenressourcen) konnten 19 % der Cloud-Kosten gespart werden. Das ist, als würdest du jedes Jahr ein ganzes Jahr Urlaubsgeld sparen, ohne auf Urlaub zu verzichten.

🎯 Fazit in einem Satz

LeJOT-AutoML ist wie ein selbstlernender Navigator, der nicht nur auf die Landkarte schaut, sondern live den Verkehr beobachtet, die besten Routen berechnet und dabei sicherstellt, dass wir nie zu viel für den Tank bezahlen – und das alles in einem Bruchteil der Zeit, die ein menschlicher Navigator bräuchte.