Towards automated data analysis: A guided framework for LLM-based risk estimation

Diese Arbeit stellt ein vom Menschen geführtes Framework vor, das Large Language Models zur automatisierten Identifizierung von semantischen und strukturellen Risiken in Datenbankschemata einsetzt, um eine zuverlässige und halluzinationsarme Risikoabschätzung zu ermöglichen.

Das Wesentliche

Das große Problem: Der überforderte Detektiv

Stell dir vor, du hast einen riesigen, chaotischen Schrank voller Akten (das ist deine Datenbank). In diesem Schrank verstecken sich einige böse Akten (z. B. Stromdiebe), aber du weißt nicht, welche das sind.

Früher musste ein menschlicher Detektiv jeden einzelnen Ordner durchsuchen. Das dauert ewig und ist anstrengend.
Heute gibt es Künstliche Intelligenz (KI), genauer gesagt Large Language Models (LLMs). Das sind wie super-intelligente, aber manchmal etwas chaotische Assistenten. Sie können riesige Mengen an Text und Daten blitzschnell lesen.

Aber hier liegt das Problem: Diese KI-Assistenten sind wie ein sehr kreativer, aber manchmal etwas verträumter Schüler.

1. Sie halluzinieren manchmal Dinge, die gar nicht da sind (wie ein Schüler, der sich eine Erfindung ausdenkt, um eine Hausaufgabe zu machen).
2. Sie verstehen nicht immer genau, was du wirklich willst (Alignment-Probleme).

Wenn du einem solchen Assistenten einfach sagst: „Such die Diebe!", könnte er dir eine völlig falsche Liste geben. Das ist gefährlich, besonders wenn es um kritische Dinge wie Stromnetze oder Finanzdaten geht.

Die Lösung: Der „Führerschein"-Ansatz (Der geführte Rahmen)

Der Autor schlägt vor, die KI nicht allein zu lassen, sondern sie wie einen Azubi unter Aufsicht zu behandeln. Er nennt das einen „Guided Framework" (einen geführten Rahmen).

Stell dir das wie eine Reise mit einem Navigator vor:

• Die KI ist der Navigator, der die Karte liest, die besten Routen vorschlägt und sogar das Lenkrad (den Code) hält.
• Der Mensch ist der Fahrer. Er sitzt auf dem Beifahrersitz, schaut auf die Karte, sagt: „Nein, da geht es nicht, wir müssen hier abbiegen" oder „Das sieht gut aus, fahr los."

Der Prozess läuft in vier Schritten ab, bei denen der Mensch nach jedem Schritt kurz die Kontrolle übernimmt:

1. Der Überblick (Die Landkarte zeichnen):
   Die KI schaut sich den Schrank an und sagt: „Hey, diese Ordner gehören zusammen, und diese hier haben eine Verbindung." Sie macht aus dem Chaos eine ordentliche Liste.

   • Der Mensch prüft: „Stimmt das? Sind die Verbindungen logisch?"

2. Der Werkzeugkasten (Die Methode wählen):
   Die KI schlägt vor: „Wir sollten diese Gruppe hier mit Methode A sortieren und diese da mit Methode B." Sie schlägt also die besten Werkzeuge vor.

   • Der Mensch prüft: „Klingt vernünftig. Aber pass auf, wir haben wenig Speicherplatz, also wähle eine Methode, die nicht zu viel RAM braucht."

3. Das Bauen (Code schreiben):
   Die KI schreibt das Programm (den Code), das die Sortierung durchführt.

   • Der Mensch prüft: „Oh, der Code ist etwas langsam oder braucht zu viel Speicher. Korrigiere das." (Hier passiert oft, dass die KI am Anfang etwas falsch macht und der Mensch sie korrigiert).

4. Das Ergebnis (Der Bericht):
   Das Programm läuft, sortiert die Daten und die KI schreibt einen Bericht: „Hier sind die verdächtigen Ordner."

   • Der Mensch prüft: „Sieht gut aus. Aber mach den Bericht noch klarer und gib uns eine Risikobewertung für jeden einzelnen Fall."

Der Beweis: Stromdiebe in Griechenland

Um zu zeigen, dass das funktioniert, hat der Autor das System mit echten Daten von einem griechischen Stromversorger getestet.

• Das Ziel: Finden, wer Strom stiehlt (nicht-technische Verluste).
• Die Daten: Über 1,2 Millionen Kunden, aber die Daten waren sehr lückenhaft und chaotisch (wie ein Puzzle, bei dem viele Teile fehlen).
• Das Ergebnis: Die KI schlug vier verschiedene Methoden vor (z. B. nach Wohnort, nach Verbrauchsmustern). Der Mensch half ihr, den Code zu optimieren.
• Das Endergebnis: Das System konnte 87 % der bekannten Diebe finden, obwohl sie nur in ca. 39 % der gesamten Kundenliste steckten. Das ist wie ein Goldsucher, der in einem riesigen Fluss fast das ganze Gold findet, aber nur einen kleinen Teil des Flusses absuchen muss.

Warum ist das wichtig?

Die Botschaft der Arbeit ist einfach:
Wir wollen nicht, dass die KI allein entscheidet (das ist zu riskant). Wir wollen aber auch nicht, dass Menschen alles manuell machen (das ist zu langsam).

Die Zukunft liegt in der Teamarbeit:
Die KI macht die schwere, schnelle Arbeit (lesen, sortieren, Code schreiben), und der Mensch ist der Qualitätskontrolleur, der sicherstellt, dass nichts Schlimmes passiert und das Ergebnis sinnvoll ist.

Kurz gesagt: Die KI ist der starke Motor, aber der Mensch hält das Steuer. Zusammen kommen sie schneller und sicherer ans Ziel als jeder allein.

Technische Zusammenfassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) in kritische Entscheidungsprozesse und Datenanalyse-Pipelines nimmt zu. Allerdings stoßen bestehende Ansätze an ihre Grenzen:

• Manuelle Audits: Herkömmliche Methoden zur Risikoanalyse von Datensätzen sind manuell, zeitaufwendig und komplex.
• Vollautomatisierte KI: Ein rein autonomer Einsatz von KI leidet unter „Halluzinationen" (Erfindung von Fakten), Fehlern bei der Code-Generierung und Problemen der „AI Alignment" (Abweichung der Ausgabe von der eigentlichen Absicht).
• Datenspezifische Herausforderungen: In vielen Domänen (z. B. Stromnetze) sind die Daten unstrukturiert, haben inkonsistente Benennungen, sind lückenhaft (spärlich) oder enthalten keine expliziten Fremdschlüssel, was traditionelle algorithmische Ansätze erschwert.

Das Ziel ist es, eine Brücke zu schlagen zwischen der semantischen Stärke von LLMs und der Notwendigkeit von Zuverlässigkeit und menschlicher Aufsicht.

2. Methodik: Das geführte Framework (Human-in-the-Loop)

Das Paper schlägt ein gesteuertes Framework vor, das Generative KI unter menschlicher Aufsicht („Human-in-the-Loop") integriert. Anstatt einen einzigen „Zero-Shot"-Prompt für den gesamten Datensatz zu verwenden, wird der Prozess in vier sequenzielle Phasen unterteilt. Jede Phase startet eine neue LLM-Sitzung, um Kontaminierung durch vorherige Fehler zu vermeiden.

Die vier Phasen des Frameworks:

1. Identifikation von Entitäten und Beziehungen (Schema Grounding):

   • Das LLM erhält eine Beschreibung des Datensatzes und Metadaten.
   • Es identifiziert Entitäten und Beziehungen (auch ohne explizite Fremdschlüssel), indem es das Schema als linguistisches Korpus interpretiert.
   • Es schlägt geeignete Clustering-Techniken vor.
   • Technischer Vorteil: LLMs können semantische Rollen auch bei nicht-standardisierten Benennungen oder unstrukturierten Daten inferieren (induktive und abduktive Schlussfolgerung).

2. Code-Generierung:

   • Basierend auf den Vorschlägen aus Phase 1 generiert das LLM ausführbaren Code (z. B. Python), um die Clustering-Techniken zu implementieren.
   • Der menschliche Supervisor prüft den Code, optimiert Parameter (falls nötig) und stellt sicher, dass er die Ziele erfüllt (z. B. GPU-Nutzung, Speicheroptimierung).

3. Ausführung und Speicherung:

   • Der generierte Code wird vom Supervisor oder einem Agenten ausgeführt.
   • Die Clustering-Ergebnisse werden in Dateien gespeichert.

4. Ergebnisanalyse und Risikobewertung:

   • Das LLM analysiert die Ausgabe-Dateien der Algorithmen zusammen mit den Metadaten.
   • Es erstellt einen abschließenden Bericht und bewertet die Risiken der auditieren Entitäten.
   • Bei großen Datenmengen generiert das LLM ggf. weitere Skripte zur Zusammenfassung der Ergebnisse, bevor der finale Report erstellt wird.

Kernmechanismus der Risikobewertung (im Proof-of-Concept):
Das Framework nutzt einen Konsens-Mechanismus (Rank-Based Consensus Voting):

• Mehrere Modelle bewerten das Risiko.
• Eine Installation wird als „Hochrisiko" gewertet, wenn sie in den Top-20% der riskantesten Cluster mehrerer Modelle liegt.
• Die finale Priorisierung basiert auf der Anzahl der „Stimmen" (wie viele Modelle haben das Risiko erkannt) und der durchschnittlichen Risikointensität.

3. Proof-of-Concept: Nicht-technische Verluste in Stromnetzen

Das Framework wurde an einem realen Datensatz des griechischen Netzbetreibers HEDNO (Hellenic Electricity Distribution Network Operator) getestet, um nicht-technische Verluste (Stromdiebstahl) zu identifizieren.

• Daten: 1,23 Mio. Kundenkonten, 9,2 Mio. Verbrauchsdaten, 3.842 bestätigte Diebstahlfälle. Die Daten waren unregelmäßig, lückenhaft und enthielten keine expliziten Labels für „saubere" Kunden.
• Modell: Gemini 3.0 Pro.
• Ergebnis der Phasen:
  • Das LLM identifizierte erfolgreich Beziehungen und schlug vier Clustering-Methoden vor: Geospatial, Time-Series, Mixed-Type und Behavioral/Event Clustering.
  • Es generierten Python-Skripte, die nach menschlichem Eingreifen (Optimierung für GPU und Speicher) erfolgreich liefen.
  • Ergebnis: 38,79 % der Gesamtstichprobe wurden als risikobehaftet eingestuft. Diese Gruppe enthielt 87,66 % aller bestätigten Diebstahlfälle.
  • Die Verteilung zeigte, dass die Mehrheit der Verbraucher (ca. 61 %) als risikoarm eingestuft wurde, was der Realität entspricht.

4. Schlüsselbeiträge

1. Geführtes Automatisierungsparadigma: Einführung eines Frameworks, das die Stärken von LLMs (Semantik, Code-Generierung) mit menschlicher Aufsicht kombiniert, um die Risiken von Halluzinationen und Fehlern zu minimieren.
2. Strukturierte Workflow-Integration: Zerlegung des komplexen Datenanalyse-Prozesses in überwachbare, sequenzielle Schritte (Schema-Analyse -> Code -> Ausführung -> Interpretation) statt eines monolithischen Prompts.
3. Robustheit gegenüber schlechter Datenqualität: Demonstration, dass LLMs in der Lage sind, semantische Beziehungen in Datensätzen mit unstandardisierten Benennungen und fehlenden Fremdschlüsseln zu erkennen.
4. Konsens-basierte Risikobewertung: Entwicklung einer Methode zur Fusion der Ergebnisse mehrerer Clustering-Algorithmen, um die Präzision der Risikoeinschätzung zu erhöhen.

5. Signifikanz und Ausblick

• Praktische Anwendbarkeit: Das Paper beweist, dass LLMs effektiv zur Risikoanalyse in komplexen, realen Szenarien eingesetzt werden können, solange ein menschlicher Supervisor die Integrität des Prozesses sicherstellt.
• Grenzen der Autonomie: Es wird betont, dass eine vollständige Autonomie (ohne menschliches Eingreifen) aufgrund von Halluzinationen und Alignments-Problemen derzeit zu riskant ist. Das „Human-in-the-Loop"-Modell ist der rationalste Ansatz.
• Datenschutz: Es wird auf die Herausforderungen hingewiesen, sensible Daten an Cloud-basierte LLMs (as-a-Service) zu senden. Für kritische Anwendungen sind lokale Installationen (On-Premise) notwendig, was jedoch oft an Rechenleistungsgrenzen scheitert.
• Zukunft: Das Framework legt den Grundstein für zukünftige autonome Datenanalyse-Agenten, die jedoch weiterhin auf menschliche Validierung angewiesen bleiben werden, bis die Technologie reifer ist.

Fazit: Das Paper liefert einen robusten Bauplan für den Einsatz von LLMs in der Datenanalyse, der die Balance zwischen Automatisierungseffizienz und notwendiger menschlicher Kontrolle schlägt, und demonstriert dies erfolgreich im Kontext der Betrugserkennung in Stromnetzen.