🤖 AI

ProfiliTable: Profiling-Driven Tabular Data Processing via Agentic Workflows

ProfiliTable ist ein autonomes Multi-Agenten-Framework, das dynamisches Profiling, wissensgestützte Code-Synthese und geschlossenen Regelkreis-Feedback nutzt, um mehrdeutige Benutzerabsichten zuverlässig in robuste, governance-konforme tabellarische Datenverarbeitungspipelines zu transformieren und dabei bestehende Baselines in komplexen Mehrschritt-Szenarien zu übertreffen.

Ursprüngliche Autoren: Wei Liu, Yang Gu, Xi Yan, Zihan Nan, Beicheng Xu, Keyao Ding, Bin Cui, Wentao Zhang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wei Liu, Yang Gu, Xi Yan, Zihan Nan, Beicheng Xu, Keyao Ding, Bin Cui, Wentao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, unordentliche Tabelle voller realer Daten. Vielleicht sind es Verkaufsprotokolle mit fehlenden Preisen, Kundenlisten mit inkonsistenten Datumsformaten oder Lagerbestandsaufzeichnungen, in denen „NA" in jeder Spalte etwas anderes bedeutet. Ihr Chef gibt Ihnen eine vage Anweisung: „Beheben Sie die Währungsspalte und stellen Sie sicher, dass alle Daten standardisiert sind."

Wenn Sie einen Standard-KI-Modell (wie ein einfaches Large Language Model) bitten, dies zu tun, könnte es Code schreiben, der auf dem Papier perfekt aussieht, in der Realität jedoch scheitert. Es könnte raten, dass „Währung" Dollar bedeutet, obwohl die Daten tatsächlich Euro, Yen oder sogar handschriftliche Notizen verwenden. Es ist wie ein Koch, der versucht, ein Rezept zuzubereiten, ohne die Zutaten vorher zu probieren.

ProfiliTable ist ein neues System, das entwickelt wurde, um dieses Problem zu lösen. Anstatt nur zu raten, agiert es wie ein Team von Expertendatendetektiven, die zusammenarbeiten, um die Daten zu verstehen, bevor sie versuchen, sie zu beheben.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Blinde Maler"

Aktuelle KI-Tools versuchen oft, ein Bild zu malen (Code zu schreiben), ohne auf die Leinwand (die tatsächlichen Daten) zu schauen. Sie verlassen sich auf allgemeine Regeln. Wenn Sie ihnen sagen, sie sollen die „Währung standardisieren", schreiben sie möglicherweise nur ein generisches Skript. Wenn die Daten seltsame Symbole oder unerwartete Werte enthalten, stürzt das Skript ab oder produziert Unsinn. Sie sind gegenüber den spezifischen Eigenheiten Ihrer Daten „blind".

2. Die Lösung: Ein Team spezialisierter Agenten

ProfiliTable verwendet nicht ein großes Gehirn; es nutzt ein Team spezialisierter Agenten, die in einer Schleife miteinander kommunizieren. Stellen Sie es sich wie eine Baufirma vor, bei der jeder einen spezifischen Job hat:

Der Interpreter (Der Projektleiter):
Dieser Agent hört Ihre vage Anweisung („Beheben Sie die Währung") zu und ermittelt genau, was zu tun ist. Er entscheidet, ob dies ein einfacher Einzelschritt-Job oder ein komplexes Mehrstufenprojekt ist.
Der Profiler (Der Detektiv):
Dies ist der wichtigste neue Teil. Bevor er Code schreibt, geht der Profiler in das Datenlager und beginnt zu ermitteln. Er schaut sich nicht nur die Spaltennamen an; er probiert die Daten tatsächlich aus.
- Analogie: Wenn Sie dem Profiler sagen, er soll die „Währung beheben", rät er nicht. Er holt eine Lupe hervor, betrachtet die tatsächlichen Werte und sagt: „Ah, ich sehe 'USD', '€' und 'Yen', gemischt mit einigen Tippfehlern wie 'dollars'." Er erstellt eine detaillierte Karte davon, wie die Daten tatsächlich aussehen.
Der Generator (Der Baumeister):
Jetzt, da der Baumeister genau weiß, wie die Daten aussehen (dank des Profilers) und über eine Bibliothek vorgetesteter Werkzeuge verfügt (wie eine Werkzeugkiste mit spezifischen „Währung beheben"- oder „Daten beheben"-Skripten), schreibt er den Code. Da er die Karte hat, rät er nicht; er baut eine Lösung, die auf den spezifischen Unrat zugeschnitten ist, den er gefunden hat.
Der Evaluator und Zusammenfasser (Die Inspektoren):
Sobald der Code ausgeführt wird, prüfen diese Agenten das Ergebnis. Hat es das Problem tatsächlich behoben?
- Analogie: Wenn der Code einige „€"-Symbole zurückgelassen hat, sagt der Zusammenfasser nicht einfach „Fehler". Er ermittelt, warum, und teilt dem Baumeister mit: „Sie haben die Euro-Symbole übersehen, weil Sie nicht die zweite Seite der Datei geprüft haben."
Die Schleife (Der Verfeinerungszyklus):
Wenn der Inspektor einen Fehler findet, gibt das Team nicht auf. Sie leiten dieses Feedback zurück an den Profiler und den Baumeister. Der Profiler kehrt zurück, um den spezifischen Teil zu untersuchen, der fehlgeschlagen ist, und der Baumeister versucht es mit besseren Informationen erneut. Dies geschieht, bis die Daten bereinigt sind.

3. Warum es besser ist

Die Arbeit behauptet, dass dieser Ansatz des „Dynamischen Profilings" aus drei Gründen ein Wendepunkt ist:

Es hört auf zu raten: Indem es die Daten zunächst aktiv erkundet, vermeidet das System den „syntaktisch korrekten, aber semantisch fehlerhaften" Code, der andere KI-Tools plagt.
Es bewältigt Komplexität: Probleme mit realen Daten erfordern oft viele Schritte (bereinigen, dann sortieren, dann zusammenführen). ProfiliTable zerlegt diese großen Probleme in kleine, handhabbare Aufgaben und löst sie nacheinander.
Es ist zuverlässig: In ihren Tests war ProfiliTable das einzige System, das Code für 100 % der Aufgaben erfolgreich ausführen konnte, selbst für die sehr schwierigen. Andere Systeme stürzten häufig ab oder produzierten Code, der gar nicht ausgeführt werden konnte.

Das Fazit

ProfiliTable verändert die Art und Weise, wie KI mit Daten umgeht. Anstatt blind eine Regel anzuwenden, agiert es wie ein menschlicher Experte: Es schaut sich die Daten an, versteht ihre einzigartigen Eigenheiten, plant eine spezifische Lösung, baut die Lösung und prüft die Arbeit, bevor sie als abgeschlossen gilt. Dies macht es viel zuverlässiger darin, unordentliche, reale Tabellen in saubere, verwertbare Daten zu verwandeln.

Technische Zusammenfassung: ProfiliTable

Problemstellung

Die Tabellenverarbeitung – umfassend Bereinigung, Transformation, Anreicherung und Zuordnung – ist eine grundlegende, jedoch hochgradig fehleranfällige Phase in realen Datenpipelines. Während Large Language Models (LLMs) vielversprechend darin sind, diese Aufgaben durch die Generierung ausführbaren Codes (z. B. pandas oder SQL) aus natürlichen Sprachanweisungen zu automatisieren, leiden aktuelle Ansätze unter erheblichen Einschränkungen. Bestehende Methoden haben oft Schwierigkeiten mit mehrdeutigen Anweisungen, komplexen mehrstufigen Aufgabenstrukturen und einem Mangel an strukturiertem Feedback. Folglich produzieren sie häufig Code, der syntaktisch korrekt, aber semantisch fehlerhaft ist.

Insbesondere verlassen sich viele bestehende Agenten auf statische, regelbasierte Profilierung oder eingeschränktes Sampling (z. B. die Untersuchung nur weniger Zeilen), was nicht ausreicht, um das volle Spektrum der Datenwerte zu erfassen, das notwendig ist, um vage Benutzerabsichten zu interpretieren (z. B. „die Währungsspalte standardisieren"). Ohne eine aktive, adaptive Exploration des tatsächlichen Dateninhalts können Agenten keine geeigneten Zuordnungstabellen erstellen oder domänenspezifische Nuancen handhaben, was zu einer brüchigen Leistung in Produktionsumgebungen führt.

Methodik: ProfiliTable

Um diese Herausforderungen zu adressieren, schlagen die Autoren ProfiliTable vor, ein autonomes Multi-Agenten-Framework, das auf dynamischer Profilierung basiert. Im Gegensatz zum passiven Konsum von Metadaten behandelt ProfiliTable die Profilierung als einen aktiven, iterativen Prozess der semantischen Konstruktion, der sich durch Interaktion, Feedback und Wissensintegration weiterentwickelt.

Das Framework arbeitet als geschlossener, selbstverbessernder Pipeline, an der mehrere spezialisierte Agenten beteiligt sind:

Interpreter: Analysiert die natürliche Sprachanweisung des Benutzers, um die Aufgabenkomplexität (einstufig vs. mehrstufig) zu bestimmen und leitet die Anfrage entsprechend weiter.
Profiler: Dient als semantisches Grounding-Modul. Er nutzt eine ReAct-artige (Reason + Act)-Explorations-Schleife, um die rohen Eingabetabellen aktiv zu befragen. Anstatt sich ausschließlich auf Schemametadaten zu verlassen, führt er leichte Aktionen aus (z. B. Stichproben von eindeutigen Werten, Berechnung von Verteilungen), um Hypothesen über Datenqualität und -struktur zu formulieren und zu testen. Dies generiert eine dynamische Profilierungszusammenfassung ( $p^{(t)}$ ), die sprachliche Absicht mit tabellarischer Realität verbindet.
Decomposer: Für mehrstufige Aufgaben zerlegt dieser Agent komplexe Anweisungen in eine geordnete Sequenz atomarer Teilaufgaben, was eine gezielte Retrieval von Operatoren für jeden Schritt ermöglicht.
Generator: Synthesisiert ausführbaren Code, indem er die Absicht des Benutzers und die aktuelle Profilierungszusammenfassung in einem Retrieval-Augmented Generation (RAG)-Framework verankert. Er ruft kuratierte, vorvalidierte Operator-Vorlagen aus einer Wissensdatenbank ab, um sicherzustellen, dass der generierte Code auf zuverlässigen, domänenspezifischen Primitiven basiert.
Evaluator: Führt den generierten Code in einer sandgeboxten Umgebung aus und berechnet eine aufgabenspezifische Bewertung ( $s^{(t)}$ ) unter Verwendung von mit Ground-Truth abgestimmter Logik (z. B. F1-Score), um sicherzustellen, dass „ausführbarer" Code auch „korrekt" ist.
Summarizer: Operiert in einer ReAct-artigen Schleife über die verarbeitete Tabelle, um die Ausrichtung mit der ursprünglichen Absicht zu validieren. Er formuliert Verifikationshypothese, führt leichte Validierungsaktionen aus und liefert diagnostische Erkenntnisse ( $\tau^{(t)}$ ) bezüglich nicht erfüllter Teilziele.
Finalizer: Verwaltet die Beendigung der iterativen Schleife. Er wählt den bestperformenden Kandidaten über alle Iterationen hinweg aus, wenn die Erfolgsschwelle nicht erreicht wird, und stellt sicher, dass der Workflow das genaueste beobachtete Ergebnis zurückgibt.

Die Kerninnovation ist der Unified Dynamic Profiling Context ( $P^{(t)}$ ), der iterativ die aktive Profilierungszusammenfassung, abgerufene Operatoren und die Feedback-Historie integriert, um die nachfolgende Codegenerierung und -verfeinerung zu steuern.

Hauptbeiträge

Die Arbeit umreißt drei primäre Beiträge:

Das ProfiliTable-Framework: Ein autonomes Multi-Agenten-System, das interaktive Exploration, feedbackgesteuerte Verfeinerung und wissensgestützte Synthese unter einem dynamischen Profilierungsparadigma vereint, um die Brüchigkeit der One-Shot-LLM-Codegenerierung zu überwinden.
Ein umfassender Benchmark: Die Erstellung eines Benchmarks, der 18 verschiedene Tabellenverarbeitungsaufgabetypen umfasst, kategorisiert in Bereinigung, Transformation, Anreicherung und Zuordnung, und der so konzipiert ist, dass er reale Kuratierungsherausforderungen besser widerspiegelt als bestehende Benchmarks.
Empirische Validierung: Umfassende Experimente zeigen, dass ProfiliTable in sowohl einstufigen als auch komplexen mehrstufigen Szenarien State-of-the-Art (SOTA)-Leistungen erzielt, mit konsistenten Verbesserungen in Korrektheit, Vollständigkeit und Ausführungszuverlässigkeit gegenüber starken Baselines.

Experimentelle Ergebnisse

Die Experimente wurden mit GPT-4o und GPT-5.2 als zugrundeliegenden Modellen durchgeführt, wobei ProfiliTable mit Baselines wie MetaGPT, CAMEL, ChatDev, CleanAgent und DataGovAgent verglichen wurde.

Einstufige Aufgaben: ProfiliTable erreichte einen durchschnittlichen Aufgabenscore (ATS) von 86,82 (GPT-4o) und 89,66 (GPT-5.2) und übertraf damit die zweitbesten Baselines (MetaGPT mit 56,21 bzw. ChatDev2.0 mit 70,02) signifikant.
Mehrstufige Aufgaben: ProfiliTable etablierte einen neuen SOTA mit ATS-Werten von 80,19 (GPT-4o) und 82,49 (GPT-5.2). Entscheidend war, dass es die einzige Methode war, die in mehrstufigen Szenarien eine 100%ige aufgabenbezogene Ausführbarkeitsrate (TRR) erreichte, wodurch sichergestellt wurde, dass jede Aufgabe eine ausführbare Ausgabe produzierte.
Effizienz: Trotz der iterativen Natur des Frameworks zeigte ProfiliTable eine hohe Kosteneffizienz. Es nutzte die niedrigste durchschnittliche Token-Anzahl unter den Top-Performern (z. B. ~24.907 Tokens für GPT-5.2 einstufig), während es gleichzeitig eine hohe Genauigkeit beibehielt und so eine Pareto-optimale Grenze zwischen Token-Kosten und Lösungsqualität aufwies.
Ablationsstudien: Das Entfernen einer Kernkomponente (Profiler, Feedback, RAG oder Decomposer) führte zu einer Leistungsverschlechterung. Der Feedback-Mechanismus wurde als kritischste Komponente identifiziert; dessen Entfernung verursachte den schwerwiegendsten Leistungsabfall, insbesondere in mehrstufigen Szenarien.

Bedeutung und Behauptungen

Die Autoren behaupten, dass ProfiliTable die kritische Rolle der dynamischen Profilierung bei der zuverlässigen Übersetzung mehrdeutiger Benutzerabsichten in robuste, governance-konforme Tabellentransformationen unterstreicht. Die Arbeit argumentiert, dass eine zuverlässige Tabellenverarbeitung mehr erfordert als nur starke LLMs; sie erfordert strukturierte, reflektierende Workflows, die Tabellen als dynamische, semantisch reiche Artefakte behandeln.

Durch den Wechsel von statischer, regelgetriebener Profilierung zu einer aktiven, hypothesengesteuerten Exploration adressiert ProfiliTable die „Brüchigkeit" aktueller Agenten. Die Fähigkeit des Frameworks, in komplexen mehrstufigen Szenarien 100%ige Ausführbarkeitsraten zu erreichen, positioniert es als einen viablen Kandidaten für den Einsatz in der Produktion, wo die Ausführungszuverlässigkeit ebenso wichtig ist wie die Codekorrektheit. Die Arbeit schlägt ein neues Paradigma der „profilierungsgetriebenen Agency" vor, bei dem iterative, interaktive und fehlerbewusste Systeme für die Automatisierung datenzentrierter Aufgaben unerlässlich sind.