💻 computer science

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

Dieses Paper führt eine leichtgewichtige post-hoc probabilistische Erweiterung für YOLO-Pose-Modelle ein, die diese um kalibrierte bivariate prädiktive Verteilungen ergänzt, um räumliche Unsicherheit zu quantifizieren, was ein effektives Ranking der Zuverlässigkeit auf Keypoint-Ebene sowie verbesserte Downstream-Anwendungen wie das visuelle Landen von Flugzeugen ermöglicht.

Ursprüngliche Autoren: Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

Veröffentlicht 2026-07-30

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein hochkarätiges Spiel von „Wo ist Waldo?“, aber anstatt eines Zeichentrickfilms betrachten Sie eine reale Szene, wie etwa eine belebte Flughafenstartbahn oder eine überfüllte Straße. Sie verfügen über ein superschnelles, superschlaues Computer-Vision-System (eine Art KI), das in der Lage ist, Menschen, Autos oder Startbahnen sofort zu erkennen und genau darauf zu zeigen, wo sich ihre wichtigen Teile befinden – wie eine Nase, ein Ellbogen oder eine Ecke einer Landebahn. Dieses System ist unglaublich schnell und effizend, aber es hat einen geheimen Fehler: Es verhält sich wie ein Besserwisser. Es zeigt auf eine Stelle und sagt: „Ich bin mir zu 100 % sicher, dass dies die Nase ist!“, ohne jemals zugeben zu können: „Eigentlich ist dieser Teil verschwommen, oder vielleicht ist das ein Schatten, also bin ich mir nur zu 60 % sicher.“

In der Welt der künstlichen Intelligenz ist dies ein großes Problem. Wenn ein Computer eine Vermutung anstellt, muss er wissen, wie sehr er dieser Vermutung vertrauen kann. Dies wird als „Unsicherheit“ bezeichnet. Denken Sie an eine Wettervorhersage. Eine schlechte Vorhersage sagt: „Es wird um 14:00 Uhr regnen.“ Eine gute Vorhersage sagt: „Es besteht eine 90-prozentige Wahrscheinlichkeit für Regen zwischen 13:55 und 14:05 Uhr.“ Die zweite Variante gibt Ihnen eine „Konfidenzblase“ (Vertrauensbereich) um die Vorhersage herum. Für sicherheitskritische Aufgaben – wie etwa dabei zu helfen, ein Flugzeug landen zu lassen oder einen Roboter durch eine Menschenmenge zu navigieren – ist das Wissen über die Größe dieser Konfidenzblase genauso wichtig wie das Wissen darüber, wo sich das Objekt befindet. Wenn die KI falsch liegt, aber glaubt, richtig zu liegen, könnte dies einen Absturz verursachen. Wenn sie richtig liegt, aber glaubt, falsch zu liegen, könnte sie eine entscheidende Gelegenheit verpassen. Die Herausforderung besteht darin, diesen superschnellen KI-Systemen ein „Bauchgefühl“ über ihre eigene Genauigkeit zu geben, ohne sie zu verlangsamen oder die Magie zu zerstören, die sie so gut macht.

Die große Idee des Papers: YOLO eine „Konfidenzblase“ geben

Das Paper befasst sich mit diesem Problem unter Verwendung einer populären Familie von KI-Modellen namens YOLO-Pose (You Only Look Once - Pose). Diese Modelle sind wie Geschwindigkeitsmonster; sie können Objekte und deren Körperteile (Keypoints) mit einem einzigen, blitzschnellen Blick finden. Diese Modelle spucken jedoch normalerweise nur einen einzelnen Punkt für jeden Körperteil aus, ohne eine Vorstellung davon zu haben, wie wackelig dieser Punkt sein könnte. Die Autoren, Forscher von Airbus und anderen Institutionen, stellten eine einfache Frage: Können wir diese bereits trainierten, superschnellen Modelle dazu bringen, eine „Konfidenzblase“ um ihre Vorhersagen zu zeichnen, ohne das gesamte Modell neu zu trainieren?

Ihre Antwort ist ein cleverer „post-hoc“-Trick (im Nachhinein). Anstatt die gesamte KI von Grund auf neu aufzubauen, lassen sie das ursprüngliche, schnelle Modell völlig unberührt und eingefroren. Sie setzen einfach einen winzigen, leichtgewichtigen „probabilistischen Kopf“ (ein kleines Zusatzmodul) an die Seite. Dieser Zusatz schaut sich dasselbe Bild und dieselbe Vorhersage an, die das Hauptmodell gemacht hat, aber anstatt nur zu sagen: „Hier ist die Nase“, sagt er: „Hier ist die Nase, und hier ist eine ovale Blase, die zeigt, wie sehr die Nase wackeln könnte.“

Wie sie der KI beibrachten, sich Sorgen zu machen (und ruhig zu werden)

Die Forscher haben nicht einfach geraten, wie groß diese Blasen sein sollten; sie haben den Zusatz trainiert, aus den Fehlern zu lernen, die das Hauptmodell macht. Sie verwendeten ein spezielles mathematisches Werkzeug namens importance-weighted negative log-likelihood (gewichtete negative Log-Likelihood). In einfachen Worten ist dies eine Methode, um dem Zusatz beizubringen, den Fehlern, die tatsächlich bei der Anwendung des Modells in der realen Welt auftreten, besondere Aufmerksamkeit zu schenken, anstatt nur den Fehlern, die er während des Übens im Labor gemacht hat.

Sie entdeckten, dass die „Blasen“ je nach Situation unterschiedlich geformt sein mussten. Manchmal ist die Unsicherheit ein perfekter Kreis (wie eine Gauß-Verteilung), aber oft – aufgrund von schwierigen Dingen wie Schatten oder Menschen, die sich gegenseitig verdecken – sind die Fehler „heavy-tailed“ (schwerfällig/mit schweren Enden). Das bedeutet, dass die meisten Vermutungen zwar nah dran sind, es aber gelegentlich extreme Ausreißer gibt, die weit daneben liegen. Um dies zu handhaben, testeten sie zwei Arten von Blasen:

Die Gauß-Blase: Eine standardmäßige, glatte Ellipse. Diese eignet sich gut für Systeme, die gut mit anderen mathematischen Werkzeugen harmonieren müssen (wie jenen, die in der Flugzeugnavigation verwendet werden).
Die Student-t-Blase: Eine „schwerere“ Blase, die flexibler ist und besser in der Lage ist, diese gelegentlichen, wilden Ausreißer zu erfassen.

Ihre Experimente zeigten, dass die Student-t-Blase am besten geeignet war, die chaotische Realität realer Bilder zu beschreiben. Sie erfasste die „heavy tails“ der Fehler viel besser als die standardmäßige Gauß-Blase. Die Gauß-Blase ist jedoch immer noch sehr nützlich, da sie einfacher für andere Systeme zu verwenden ist.

Der „Pruning“-Trick: Die schlechten Vermutungen herausschneiden

Eine der coolsten Entdeckungen der Autoren ist, dass diese Konfidenzblasen dazu verwendet werden können, die Ausgabe der KI zu bereinigen. Stellen Sie sich vor, Sie betrachten ein unscharfes Foto von den Beinen einer Person. Die KI könnte raten, wo das linke und das rechte Knie sind, aber sie könnte völlig verwirrt sein und sie vertauschen. Die alte KI würde Ihnen einfach beide Vermutungen geben. Das neue System hingegen kann auf seine eigene Konfidenzblase schauen und sagen: „Hey, ich bin mir über dieses Knie wirklich unsicher; die Blase ist riesig und chaotisch.“

Das Paper führt eine Methode namens uncertainty-based pruning (unsicherheitsbasierte Beschneidung) ein. Das bedeutet, dass das System automatisch die Vermutungen löschen kann, bei denen die Konfidenzblase zu groß oder zu chaotisch ist. Indem man die „Vielleicht“-Vermutungen wegwirft und nur die „Ich bin mir ziemlich sicher“-Vermutungen behält, wird das System viel zuverlässiger. In ihren Tests auf dem berühmten COCO-Datensatz (einer riesigen Sammlung von Bildern, die zum Training von KI verwendet werden) änderte dieses Pruning die Genauigkeit der guten Vermutungen nicht, aber es entfernte die schlechten, wodurch die verbleibenden Daten viel sauberer wurden.

Realwelt-Test: Ein Flugzeug landen

Um zu beweisen, dass dies nicht nur ein mathematisches Spiel war, testeten die Forscher ihre Methode bei einer sehr ernsten Aufgabe: der visuellen Flugzeuglandung. Sie nutzten die KI, um die Ecken einer Landebahn aus einer Kamera an einem Flugzeug zu erkennen. Dies ist eine Situation, in der es auf Leben und Tod ankommt, und das Wissen um die Unsicherheit ist entscheidend.

Sie fanden heraus, dass die KI die Ecken der Landebahn vorhersagen und – was noch wichtiger ist – eine kalibrierte „Blase“ der Unsicherheit für jede Ecke bereitstellen konnte. Wenn sie diese Blasen verwendeten, um die Position des Flugzeugs zu berechnen, funktionierte das System hervorragend. Die Unsicherheitsschätzungen waren gut kalibriert, was bedeutete, dass das System, wenn es sagte „95 % Konfidenz“, tatsächlich in 95 % der Fälle richtig lag. Dies ermöglichte es dem Navigationssystem des Flugzeugs, den Kameradaten zu vertrauen und diese mit anderen Sensoren (wie GPS) zu kombinieren, um sicher zu landen.

Das Paper weist jedoch auch auf eine Einschränkung hin. Als sie das System unter Nebelbedingungen testeten (die die KI zuvor noch nie gesehen hatte), wurden die Konfidenzblasen nicht groß genug, um das System zu warnen, dass es verwirrt war. Die KI war im Nebel immer noch „überkonfident“ (zu selbstbewusst). Dies deutet darauf darauf hin, dass ihre Methode zwar für normale Bedingungen großartig ist, aber noch Hilfe benötigt, um mit völlig neuen, unerwarteten Situationen (wie dichtem Nebel) umzugehen.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme der Unsicherheit in der KI gelöst zu haben. Stattdessen bietet es ein praktisches, leichtgewichtiges Werkzeug an, das bestehenden, schnellen KI-Modellen hinzugefügt werden kann, um ihnen ein „Bauchgefühl“ über ihre eigene Genauigkeit zu geben. Durch die Verwendung eines cleveren Zusatzmoduls, das lernt, „Konfidenzblasen“ zu zeichnen (speziell unter Verwendung der Student-t-Verteilung für bessere Genauigkeit), und durch die anschließende Nutzung dieser Blasen, um schlechte Vermutungen zu filtern, haben die Forscher gezeigt, dass wir schnelle KI-Modelle für kritische Aufgaben wie das Landen von Flugzeugen viel sicherer und zuverlässiger machen können. Es ist ein Schritt hin zu einer KI, die nicht nur weiß, was sie sieht, sondern auch, wie sicher sie sich ist.

Technisches Resümee: Von Keypoints zu prädiktiven Verteilungen

Problemstellung

YOLO-Pose-Modelle werden aufgrund ihrer Effizienz und ihrer Single-Pass-Inferenz-Fähigkeiten weit verbreitet für die Echtzeit-Keypoint-Lokalisierung eingesetzt. Sie geben jedoch einen einzigen deterministischen Ort für jeden Keypoint sowie einen Instanz-basierten Konfidenzwert aus, der jedoch keine keypoint-spezifische räumliche Unsicherheit quantifiziert. In sicherheitskritischen Downstream-Anwendungen (z. B. Sensorfusion, Tracking) begrenzt die Unfähigkeit, die Zuverlässigkeit einzelner Keypoints zu bewerten, die Robustheit des Systems.

Bestehende Methoden zur Quantifizierung von Unsicherheit innerhalb der YOLO-Familie konzentrieren sich primtär auf die Objekterkennung (Bounding Boxes) oder erfordern ein gemeinsames Nachtraining des Modells, um Unsicherheit neben der Lokalisierung vorherzusagen. Dieses Joint-Learning-Paradigma ist oft unerwünscht bei bereits eingesetzten Modellen, bei denen das Nachtraining aufgrund von Zertifizierungsanforderungen eingeschränkt ist oder bei denen eine Änderung der Loss-Funktion die etablierte Leistung der Mittelwert-Vorhersage verschlechtern könnte. Zudem führen Standard-Losses wie die Object Keypoint Similarity (OKS) zu schwergewichtigen (heavy-tailed) Residuenverteilungen, die durch Standard-Gauß-Annahmen schlecht erfasst werden, was zu falsch kalibrierten Unsicherheitsschätzungen führt.

Methodik

Die Autoren schlagen eine leichtgewichtige, post-hoc probabilistische Erweiterung vor, die ein vortrainiertes, eingefrorenes YOLO-Pose-Modell ergänzt, ohne dessen ursprüngliche Keypoint-Vorhersagen zu verändern. Der Ansatz besteht aus drei Hauptkomponenten:

1. Architektur-Erweiterung

Die Methode führt zusätzliche probabilistische Köpfe ein, die die ursprünglichen Pose-Köpfe spiegeln. Diese Köpfe nutzen die gemeinsamen Multi-Resolution-Neck-Features, um eine heteroskedastische, input-abhängige $2 \times 2$ Dispersionsmatrix ( $\Sigma$ ) für jeden Keypoint vorherzusagen. Die Matrix wird via Cholesky-Zerlegung als positiv definit erzwungen. Der Mittelwert der prädiktiven Verteilung ist auf die ursprüngliche YOLO-Vorhersage ( $\hat{y}$ ) fixiert, während die Dispersionsmatrix die räumliche Unsicherheit erfasst.

2. Training mit Importance-Weighted NLL

Um die Dispersionsstruktur zu lernen, verwenden die Autoren eine Gaußsche Negative Log-Likelihood (GNLL) als Ersatz für den OKS-Loss. Um die Diskrepanz zwischen der Label-Zuweisung während des Trainings und dem Post-Processing zur Inferenzzeit (z. B. Konfidenz-Thresholding, NMS) zu adressen, führen sie ein importance-weighted Trainingsziel ein:

Retention Weight ( $w_{ret}$ ): Basierend auf dem Instanz-basierten Konfidenzwert ( $c_{det}^\alpha$ ), welcher die Wahrscheinlichkeit approximiert, dass eine Vorhersage während der Inferenz beibehalten wird.
Scale Weight ( $w_{scale}$ ): Basierend auf dem inversen Objektareal ( $1/s^2$ ), um der Tendenz entgegenzuwirken, dass größere Objekte das Optimierungssignal dominieren, und um eine ausgewogene Kalibrierung über verschiedene Objektgrößen hinweg zu gewährleisten.
Das Ziel ist die Minimierung der gewichteten GNLL über die gematchten Vorhersage-Ground-Truth-Paare.

3. Kalibrierungsschemata

In Anerkennung der Tatsache, dass der OKS-Loss schwergewichtige Residuen induziert (aufgrund seiner robusten, Ausreißer-unterdrückenden Natur), schlagen die Autoren zwei komplementäre Kalibrierungsstrategien vor, die auf einem gehaltenen Kalibrierungsdatensatz angewendet werden:

Gaußsche Kalibrierung: Wendet eine Temperaturskalierung ( $\tau^2$ ) auf die gelernte Dispersionsmatrix an. Dies ergibt eine prädiktive Verteilung $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ , was die Kompatibilität mit Downstream-kovarianzbasierten Methoden (z. B. Kalman-Filter) sicherstellt.
Student-t Kalibrierung: Wendet sowohl eine Temperaturskalierung ( $\tau^2$ ) als auch einen Freiheitsgrad-Parameter ( $\nu$ ) auf die Dispersionsmatrix an, indem sie diese als Skalenmatrix einer Student-t-Verteilung $T_\nu(\hat{y}, \tau^2\Sigma)$ behandelt. Dies erfasst die empirische schwergewichtige Natur der Residuen besser, während eine prinzipielle Kovarianzinterpretation für $\nu > 2$ erhalten bleibt.

4. Unsicherheitsbasierte Pruning-Verfahren

Die kalibrierte Kovarianz wird in einen skalaren Lokalisations-Konfidenzwert umgewandelt (z. B. durch Verwendung der Spur der Kovarianz). Keypoints mit Scores unterhalb eines Schwellenwerts (ausgewählt via Youden's J-Statistik auf einem Validierungsdatensatz) werden vor der Downstream-Verarbeitung entfernt (gepruned), wodurch unzuverlässige Vorhersagen eliminiert werden, während die Mittelwert-Schätzungen der beibehaltenen Keypoints erhalten bleiben.

Evaluationsprotokoll

Das Paper führt ein umfassendes Evaluationsframework für heteroskedastische Keypoint-Regression ein:

Average Keypoint Precision (AKP): Eine COCO-ähnliche Metrik, die auf Keypoint-Ebene erweitert wurde. Sie evaluiert, ob die Unsicherheitswerte die Keypoints effektiv nach Korrektheit ranken können, was die Auswahl oder das Pruning unzuverlässiger Keypoints ermöglicht.
Diagnostik der Verteilungskalibrierung:
- Coverage (Abdeckung): Evaluiert, ob nominelle Wahrscheinlichkeitsregionen (z. B. 95%-Ellipsen) mit den empirischen Häufigkeiten übereinstimmen (Average Coverage Error, ACE).
- Varianz-Kalibrierung: Vergleicht die vorhergesagten Varianzbeträge gegen die empirischen quadrierten Residuen über verschiedene Unsicherheitsstufen hinweg (Expected Normalized Calibration Error, ENCE).
- Q-Q-Plots: Bewertet die Form und das Tail-Verhalten der prädiktiven Verteilung gegenüber der Referenzverteilung.

Kernergebnisse

Experimente auf dem COCO-Datensatz (unter Verwendung von YOLO-NAS-Pose Nano und Large) zeigen:

Zuverlässigkeits-Ranking: Die gelernten Unsicherheitsschätzungen liefern effektive Zuverlässigkeits-Rankings auf Keypoint-Ebene und erreichen hohe AKP-Scores, die signifikant über den Zufalls-Baselines liegen.
Kalibrierungsleistung:
- Die Gaußsche Kalibrierung verbessert die Varianz-Kalibrierung (niedrigerer ENCE), kämpft jedoch mit der Abdeckung (höheres ACE) aufgrund von Tail-Misspezifikation.
- Die Student-t Kalibrierung erzielt die beste Gesamtleistung, reduziert das ACE signifikant (nahezu perfekte Abdeckung) und verbessert oder erhält gleichzeitig ENCE und NLL. Dies bestätigt, dass die empirische Residuenverteilung besser durch eine schwergewichtige Student-t-Verteilung modelliert wird.
Effektivität des Prunings: Unsicherheitsbasiertes Pruning entfernt effektiv unzuverlässige Keypoints (insbesondere für ambivalente Gliedmaßen wie Knie und Knöchel) und verbessert dadurch die Kalibrierungsmetriken des verbleibenden Satzes.
Ablationsstudien: Das Importance-Weighting (insbesondere Retention- und Scale-Weights) ist entscheidend für eine ausgewogene Kalibrierung über verschiedene Objektgrößen hinweg. Vollständige heteroskedastische Kovarianzmatrizen übertreffen isotrope oder diagonale Approximationen.

Anwendungsdemonstration: Visuelle Flugzeuglandung

Die Autoren demonstrieren den Nutzen ihrer Methode in einem Szenario der visuellen Landung (Vision-Based Landing, VBL) unter Verwendung eines großskaligen internen Datensatzes.

Workflow: Runway-Keypoints werden detektiert, und ihre kalibrierten 2D-Kovarianzen werden durch einen Kovarianz-gewichteten Perspective-n-Point (PnP)-Algorithmus propagiert, um die 3D-Position und Kovarianz des Flugzeugs zu schätzen.
Sensorfusion: Die resultierende 3D-Positionsschätzung und Kovarianz werden in einen Extended Kalman Filter (EKF) zusammen mit anderen Navigationssensoren (GNSS, ILS, IRS) integriert.
Ergebnisse: Das Gauß-kalibrierte Modell liefert gut kalibrierte Bildplan-Kovarianzen, die eine unsicherheitbewusste Positionsschätzung unterstützen. Die Methode erfüllt die Anforderungen an niedrige Latenzzeiten für VBL.
Limitierung: Unter nebligen Bedingungen (Out-of-Distribution) versagt das Modell darin, die erhöhte epistemische Unsicherheit zu erfassen, was verdeutlicht, dass der aktuelle Post-hoc-Ansatz die innerhalb der Trainingsverteilung liegende aleatorische Unsicherheit modelliert, aber nicht inhärent Verteilungsverschiebungen erkennt.

Bedeutung und Ansprüche

Das Paper beansprucht für sich, die erste Erweiterung von YOLO-Pose-Modellen zu sein, die kalibrierte prädiktive Verteilungen über Keypoint-Lokalisationsfehler bereitstellt, ohne das zugrunde liegende Modell neu zu trainieren oder dessen ursprüngliche Vorhersagen zu verändern.

Wesentliche Beiträge sind:

Post-Hoc Flexibilität: Eine Methode, die die Unsicherheitsschätzung von der Punkt-Vorhersage entkoppelt und so die Kalibrierung bereits zertifizierter Modelle ermöglicht.
Distributionale Treue: Der Nachweis, dass eine Student-t-Kalibrierung notwendig ist, um die schwergewichtigen Residuen zu erfassen, die durch robuste OKS-Losses induziert werden, und dabei die Standard-Gauß-Annahmen übertrifft.
Evaluationsstandard: Die Einführung von AKP und einer Suite von Kalibrierungsdiagnostiken, die speziell auf bivariate, heteroskedastische Keypoint-Regression zugeschnitten sind und eine Lücke in der Literatur schließen, in der Unsicherheit oft nur qualitativ oder über einen skalaren Konfidenzwert bewertet wird.
Praktischer Nutzen: Validierung in einem sicherheitskritischen Bereich (Luftfahrt), die zeigt, dass kalibrierte Kovarianzen eine funktionale Anforderung für Downstream-Sensorfusionen sind und dass unsicherheitsbasiertes Pruning die Systemrobustheit verbessern kann.

Die Autoren nehmen eine bescheidene Haltung bezüglich der epistemischen Unsicherheit ein und räumen ein, dass ihr aktueller Ansatz auf In-Distribution-Residuen basiert und dass die Handhabung von Out-of-Distribution-Inputs (z. B. extremes Wetter) zukünftige Arbeiten zur Modellierung epistemischer Unsicherheit erfordert.