🤖 machine learning

Label Curation Using Agentic AI

Das Paper stellt AURA vor, ein agentenbasiertes KI-Framework, das mehrere Agenten koordiniert, um multimodale Labels ohne Ground Truth zu generieren und zu validieren, indem es ein probabilistisches Modell mittels Expectation-Maximization anpasst, um wahre Labels und die Zuverlässigkeit der Annotatoren zu inferieren, wodurch signifikante Genauigkeitsverbesserungen gegenüber Baselines sowohl in Standard- als auch in anspruchsvollen Annotationsszenarien erzielt werden.

Ursprüngliche Autoren: Subhodeep Ghosh, Bayan Divaaniaazar, Md Ishat-E-Rabban, Spencer Clarke, Senjuti Basu Roy

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Subhodeep Ghosh, Bayan Divaaniaazar, Md Ishat-E-Rabban, Spencer Clarke, Senjuti Basu Roy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek mit Büchern zu organisieren, aber Sie haben keinen Bibliothekar. Stattdessen haben Sie 50 verschiedene Leute eingestellt, die die Bücher lesen und Ihnen sagen sollen, zu welchem Genre sie gehören. Einige sind Experten, einige sind müde, einige raten nur und manche liegen schlichtweg falsch. Wenn Sie einfach eine „Mehrheitsentscheidung“ treffen (fragen: „Was sagt die Mehrheit?“), könnten Sie am Ende das falsche Genre erhalten, wenn die Mehrheit Ihrer Helfer eigentlich schlecht bei der Arbeit ist.

Dies ist das Problem, das das Paper AURA löst.

Das Problem: Die „verrauschte Menge“

In der Welt der Künstlichen Intelligenz benötigen Computer beschriftete Daten, um zu lernen (wie ein Schüler, der einen Lösungsschlüssel braucht). Normalerweise erledigen Menschen diese Kennzeichnung, aber das ist teuer, langsam und Menschen machen Fehler. In letzter Zeit haben wir begonnen, KI-Modelle einzusetzen, um Daten für uns zu kennzeichnen. Aber hier ist der Haken: KI-Modelle sind ebenfalls unvollkommen. Einige sind klug, einige sind verwirrt und einige sind voreingenommen.

Wenn man einfach eine Gruppe von KI-Modellen über die Antwort abstimmen lässt, können die „falschen“ Modelle die ganze Gruppe nach unten ziehen.

Die Lösung: AURA (Der smarte Manager)

Die Autoren haben ein System namens AURA (Agentic AI for Unified Reliability Modeling and Annotation Aggregation) entwickelt. Stellen Sie sich AURA wie einen super-smarten Manager vor, der nicht nur Stimmen zählt, sondern herausfindet, wer die Wahrheit sagt.

So funktioniert AURA, erklärt anhand einer einfachen Analogie:

Das Team von Detektiven: AURA versammelt ein Team aus verschiedenen KI-„Detektiven“ (Agents). Einer ist vielleicht gut darin, Katzen zu erkennen, ein anderer ist gut im Erkennen von Hunden und ein dritter ist in beidem schrecklich.
Kein Lösungsschlüssel nötig: Normalerweise muss man wissen, wer ein guter Detektiv ist, um das zu wissen, was die richtige Antwort ist (die „Ground Truth“). AURA ist besonders, weil es keinen Lösungsschlüssel benötigt. Es findet die Wahrheit heraus, indem es die Muster der Uneinigkeit analysiert.
Das „Vertrauenswert-Spiel“:
- Stellen Sie sich vor, die Detektive streiten sich über ein Foto. Detektiv A sagt „Katze“, Detektiv B sagt „Hund“ und Detektiv C sagt „Katze“.
- Wenn Detektiv A und B in der Vergangenheit als Lügner entlarvt wurden, ignoriert AURA sie.
- Wenn Detektiv C zuverlässig war, hört AURA auf C.
- AURA macht dies mathematisch. Es durchläuft eine Schleife, in der es die Antwort errät, dann prüft, wer für diese Antwort gestimmt hat, dann den „Vertrauenswert“ (Trust Score) für jeden Detektiven aktualisiert und wiederholt dies, bis alle sich auf die wahrscheinlichste Wahrheit einigen.

Das Geheimrezept: Die „Expectation-Maximization“-Schleife

Das Paper verwendet einen ausgeklügelten mathematischen Trick namens Expectation-Maximization (EM). Denken Sie an dies wie an ein Spiel von „Heiß und Kalt“:

Schritt 1 (Raten): AURA macht eine Vermutung darüber, was das wahre Label für ein Bild ist.
Schritt 2 (Prüfen): Es schaut sich die Detektive an. „Oh, die Detektive, die normalerweise richtig liegen, haben für diese Vermutung gestimmt. Diejenigen, die normalerweise falsch liegen, haben für die andere gestimmt.“
Schritt 3 (Aktualisieren): AURA aktualisiert seine Liste, wer vertrauenswürdig ist.
Wiederholen: Es macht dies immer und immer wieder. Mit jeder Runde werden die „Vertrauenswerte“ genauer und die endgültigen Labels werden präziser.

Was haben sie herausgefunden?

Die Forscher haben AURA auf vier verschiedene Arten von Daten getestet (Videos von Menschen beim Sport, Bilder von Essen, Bilder von Vögeln und allgemeine Bilder).

Die Menge schlagen: In jedem Test war AURA besser als eine einfache Mehrheitsentscheidung. In einigen Fällen war es 50 % genauer als die Basis-Methoden, insbesondere wenn das Team einige sehr schlechte KI-Modelle enthielt.
Fälscher entlarven: AURA war exzellent darin, herauszufinden, welche KI-Modelle zuverlässig und welche nutzlos waren. Zum Beispiel identifizierte es korrekt, dass ein spezifisches KI-Modell nur in 6 % der Fälle richtig lag, und hörte auf, ihm zu vertrauen.
Kein Training erforderlich: Man muss AURA nicht lehren, dies zu tun. Es funktioniert mit „Standard“-KI-Modellen direkt ab Werk. Man muss sie nicht neu trainieren oder ihnen spezielle Anweisungen geben.
Umgang mit Ungleichgewicht: Selbst wenn der Datensatz 100 Bilder von Hunden und nur 1 Bild eines Vogels hat, gerät AURA nicht durcheinander. Es behandelt den seltenen Vogel genauso sorgfältig wie die häufigen Hunde.

Das Fazit

AURA ist ein System, das eine chaotische Gruppe unvollkommener KI-Arbeiter in ein hochpräzises Kennzeichnungsteam verwandelt. Es tut dies, indem es ständig fragt: „Wer sagt die Wahrheit?“ und „Was ist die echte Antwort?“, ohne jemals vorher die korrekten Antworten gesehen zu haben. Es ist wie ein Manager, der sofort erkennen kann, welche Mitarbeiter gute Arbeit leisten und welche schlampen, um sicherzustellen, dass der endgültige Bericht immer von hoher Qualität ist.

Technisches Resümee: AURA (Agentic AI for Unified Reliability Modeling and Annotation Aggregation)

1. Problemdefinition

Die Arbeit befasst sich mit der anhaltenden Herausforderung, präzise, unvoreingenommene und skalierbare Labels für das überwachte Lernen zu erzeugen, während die Datensätze in Größe, Diversität und Modalität stetig wachsen. Traditionelle, menschenzentrierte Pipelines werden als kostspielig, langsam und anfällig für Variabilität aufgrund subjektiver Interpretation und Ermüdung beschrieben. Während aktives Lernen die Annotationslast zwar reduziert, bleibt es jedoch durch die Verfügbarkeit und Latenz von Menschen beschränkt.

Jüngste Fortschritte bei Large Language Models (LLMs) und autonomen Agenten haben vollständig automatisierte Annotations-Pipelines ermöglicht. Bestehende Ansätze vernachlässigen jedoch weitgehend die systematische Modellierung von Unsicherheit, Rauschen und Bias, die diesen Agenten inhärent sind. Autonome Agenten sind heterogen in ihrer Zuverlässigkeit, wobei ihre Leistung je nach Aufgabe und Kontext variiert. Das identifizierte Kernproblem ist das Fehlen eines statistisch fundierten, generischen Frameworks, das in der Lage ist:

Hochkonfidente latente wahre Labels in Abwesenheit von Ground Truth abzuleiten.
Die Zuverlässigkeit einzelner KI-Agenten explizit zu modellieren und zu quantifizieren.
Konfliktierende Vorhersagen heterogener Agenten zu aggregieren, ohne domänenspezifisches Fine-Tuning oder In-Context Learning zu erfordern.

2. Methodik: Das AURA-Framework

Die Autoren schlagen AURA (Agentic AI for Unified Reliability Modeling and Annotation Aggregation) vor, ein vollständig automatisiertes Framework, das mehrere fertige KI-Agenten (off-the-shelf) koordiniert, um gemeinsam Labels zu generieren und zu validieren.

Kernalgorithmus: AEML

Das Herzstück von AURA ist AEML (Agentic Expectation Maximization Labeling), eine Adaption des klassischen probabilistischen Dawid-Skene-Modells [Dawid und Skene, 1979]. AEML nutzt eine Expectation-Maximization-Technik (EM), um die zirkuläre Abhängigkeit zwischen der Korrektheit eines Labels und der Vertrauenswürdigkeit des Annotators aufzulösen.

Der Prozess arbeitet wie folgt:

Inputs: Ein Satz von $n$ Instanzen und $M$ Annotatoren (KI-Agenten), die verrauschte Labels $\ell^{(a)}_i$ liefern. Eine Ground Truth ist nicht erforderlich.
Initialisierung: Klassen-Priors ( $p_{y^*}$ ) werden gleichmäßig initialisiert. Die Zuverlässigkeitsmatrizen der Annotatoren (Konfusionsmatrizen $\Theta^{(a)}$ ) werden mit einem Hyperparameter $\lambda$ initialisiert, der eine angenommene Basis-Zuverlässigkeit repräsentiert.
E-Step (Expectation): Das Modell schätzt die Posteriori-Wahrscheinlichkeit des latenten wahren Labels $y^*_i$ für jede Instanz. Dies wird berechnet, indem die beobachteten Annotationen aller Agenten entsprechend ihrer aktuellen Zuverlässigkeitsschätzungen und Klassen-Priors gewichtet werden.
$w_{iy^*} = Pr(y^*_i = y^* | \{\ell^{1:M}_i\}, p_{y^*}, \{\Theta^{1:M}\})$
M-Step (Maximization): Unter Verwendung der Posteriori-Label-Schätzungen aus dem E-Step aktualisiert das Modell die Zuverlässigkeitsmatrizen der Annotatoren ( $\Theta^{(a)}$ ). Dies beinhaltet das Zählen der Häufigkeit korrekter und falscher Annotationen, gewichtet durch die Posteriori-Wahrscheinlichkeiten, wodurch effektiv gelernt wird, wie zuverlässig jeder Agent für spezifische Klassen ist. Auch die Klassen-Priors werden basierend auf den aggregierten Posteriori-Gewichten aktualisiert.
Konvergenz: Der Algorithmus iteriert, bis die Differenz in der Log-Likelihood zwischen aufeinanderfolgenden Iterationen unter einen Schwellenwert $\gamma$ fällt.

Zentrale Designprinzipien

Off-the-Shelf Modelle: AURA operiert unter Verwendung vortrainierter Modelle (z. B. GPT, Gemini, CLIP, Swin) ohne jegliches Fine-Tuning oder In-Context Learning.
Heterogenität: Das Framework modelliert Agenten explizit so, dass sie über distinkte Stärken und Fehlercharakteristika verfügen (via Konfusionsmatrizen), anstatt eine uniforme Genauigkeit anzunehmen (wie beim Mehrheitsvotum).
Probabilistische Aggregation: Anstatt eines einfachen Abstimmungsverfahrens führt AURA eine fundierte Aggregation durch, indem es konfliktierende Vorhersagen basierend auf der abgeleiteten Zuverlässigkeit versöhnt.

3. Experimentelle Evaluierung

Die Autoren evaluierten AURA anhand von vier realen Datensätzen, die Video- und Bildmodalitäten abdecken:

Kinetics-400: Video-Aktionserkennung (1.000 Videos, 60 Klassen).
ImageNet-ReaL: Bildklassifizierung (4.271 Bilder, 50 Klassen).
Food-101: Lebensmittelerkennung (1.000 Bilder, 101 Klassen).
CUB-200: Vogelarten-Klassifizierung (1.018 Bilder, 17 Klassen).

Annotatoren: Die Experimente nutzten einen diversen Satz von 18 heterogenen Agenten, darunter LLMs (GPT-4o, GPT-5, Gemini, Grok), spezialisierte Vision-Modelle (Swin, CLIP) und domänenspezifische Systeme (Pegasus-1.2, QwenVL). Ein synthetischer Zufalls-Annotator wurde ebenfalls einbezogen, um den Umgang mit Rauschen zu testen.

Baselines: Die primäre Baseline war das Mehrheitsvotum (Majority Voting). Andere verwandte Ansätze wurden als nicht anwendbar eingestuft, da sie Fine-Tuning oder In-Context Learning erfordern würden.

Metriken: Genauigkeit (Accuracy), Präzision (Precision), Recall, F1-Score und der Pearson-Korrelationskoeffizient (um die Übereinstimmung zwischen geschätzter Zuverlässigkeit und tatsächlicher Genauigkeit zu messen).

4. Ergebnisse

Leistungssteigerung: AURA übertraf das Mehrheitsvotum konsistent über alle Datensätze und Metriken hinweg. Die Verbesserungen bei der Genauigkeit reichten von 2,4 % (Kinetics-400) bis 5,8 % (Food-101). In Szenarien mit qualitativ minderwertigen Annotatoren (simuliert durch das Entfernen der Top-Performer) erreichten die Verbesserungen bis zu 50 % gegenüber der Baseline.
Zuverlässigkeitsschätzung: Das Framework schätzte die Zuverlässigkeit der Annotatoren präzise. Die geschätzten Zuverlässigkeitswerte folgten eng den tatsächlichen Genauigkeiten der Agenten (typische Abweichungen von 2–4 %) und konnten erfolgreich zwischen hochperformanten Agenten (z. B. GPT-5-mini) und schwächeren Agenten (z. B. MoonDream2) unterscheiden.
Robustheit gegenüber Klassenimbalance: AURA zeigte eine Unempfindlichkeit gegenüber Klassenimbalance, mit einer niedrigen Pearson-Korrelation (0,169) zwischen F1-Score und Klassen-Support, was darauf hindeutet, dass es Mehrheitsklassen nicht systematisch bevorzugt.
Konvergenz: Das Modell zeigte ein stabiles Konvergenzverhalten, wobei die Log-Likelihood bis zum Erreichen eines lokalen Optimums monoton anstieg.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AURA einen bedeutenden Schritt in Richtung skalierbarer, zuverlässiger Datenannotation für KI-Anwendungen der nächsten Generation darstellt. Seine primären Beiträge sind:

Erstes vollständig automatisiertes Framework: Es wird als das erste agentische KI-Framework für groß angelegte Annotationen präsentiert, das ausschließlich auf fertigen Modellen (off-the-shelf) ohne Fine-Tuning basiert.
Statistische Fundierung: Im Gegensatz zu heuristischen Aggregationsmethoden bietet AURA ein statistisch fundiertes probabilistisches Framework, das die Unsicherheit und den Bias der Agenten explizit modelliert.
Zuverlässigkeitsbewusste Automatisierung: Es ermöglicht die Bewertung der Annotatorenqualität und die Ableitung hochkonfidenter Labels, selbst wenn keine Ground Truth oder Vorvalidierungsschritte vorhanden sind.
Generalisierbarkeit: Das Framework demonstriert seine Anpassungsfähigkeit über verschiedene Modalitäten (Video, Bild) und Architekturen (LLMs, Vision-Modelle) hinweg, ohne kulturspezifische Kalibrierung.

Die Autoren kommen zu dem Schluss, dass AURA besonders wertvoll in Szenarien ist, in denen die Qualität der Annotatoren unbekannt oder heterogen ist. Es erlaubt die Nutzung einer Mischung aus teuren, hochwertigen Agenten und günstigen, qualitativ schwächeren Alternativen, ohne die Gesamtqualität der Annotation zu gefährden. Das Paper weist zudem auf laufende Arbeiten hin, um heterogene Kosten einzubeziehen, um ein Framework für Kosten-Leistungs-Trade-offs zu entwerfen.