🤖 machine learning

Conveyance: A Versatile Framework for Learning in Structured Class Spaces

Der Artikel stellt \textsc{Conveyance} vor, ein vielseitiges Klassifizierungsframework und eine Verlustfunktion, die graphähnliche Beziehungen zwischen Klassen nutzt, um die Modellleistung in strukturierten Räumen wie hierarchischer Klassifizierung und ordinaler Regression zu verbessern, und dabei spezialisierte Baselines übertrifft oder mit ihnen gleichzieht, ohne komplexe gemeinsame Verteilungen oder manuelle Abstimmung zu erfordern.

Ursprüngliche Autoren: Yasser Taha, Grégoire Montavon, Nils Körber

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yasser Taha, Grégoire Montavon, Nils Körber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, Tiere zu erkennen. Sie zeigen ihm ein Bild einer Katze und sagen ihm: „Das ist eine Katze."

In der Welt des standardmäßigen maschinellen Lernens arbeitet der Lehrer des Roboters (die „Verlustfunktion") normalerweise wie ein strenger Richter, der nur Schwarz oder Weiß kennt. Wenn der Roboter „Katze" rät, erhält er einen goldenen Stern. Wenn er „Hund", „Vogel" oder sogar „Tiger" rät, erhält er ein rotes „X". Für diesen standardmäßigen Richter ist das Raten von „Hund" genauso schlimm wie das Raten von „Tiger". Er behandelt jeden Fehler als gleichermaßen schrecklich.

In der realen Welt sind Fehler jedoch nicht alle gleich.

Wenn der Roboter eine Katze für einen Tiger hält, ist das ein „knappes Verfehlen". Beide sind Katzen, sie sehen ähnlich aus und leben im selben Viertel. Es ist ein kleiner Fehler.
Wenn der Roboter eine Katze für einen LKW hält, ist das ein riesiger, absurd großer Fehler.

Die Arbeit stellt eine neue Lehrmethode namens CONVEYANCE vor. Betrachten Sie dies als Aufrüstung des Roboters von einem strengen Richter zu einem weisen Mentor, der das „Viertel" der Welt versteht.

Die Kernidee: Die Karte des „plausiblen Viertels"

Anstatt nur „Richtig oder Falsch" zu sagen, ermöglicht CONVEYANCE Ihnen, dem Roboter eine einfache Karte (eine Boolesche Matrix) zu geben. Diese Karte sagt dem Roboter: „Wenn du eine Katze siehst, ist es in Ordnung, wenn du denkst, es sei ein Tiger oder ein Löwe, weil sie Nachbarn sind. Aber es ist NICHT in Ordnung, wenn du denkst, es sei ein LKW."

Sie müssen keine komplexen mathematischen Formeln oder Wahrscheinlichkeitstheorien schreiben, um diese Karte zu erstellen. Sie zeichnen einfach Linien zwischen Dingen, die zusammen Sinn ergeben.

Wie es funktioniert: Das zweistufige Sicherheitsnetz

Die neue Methode verwendet eine spezielle „Wertetabelle" (eine Verlustfunktion), die zwei Dinge gleichzeitig prüft, wie ein Sicherheitsbeamter mit zwei Regeln:

Regel A (Die spezifische Prüfung): „Haben Sie die exakt richtige Antwort gewählt?" (Dies ist die Standardprüfung).
Regel B (Die Viertel-Prüfung): „Haben Sie zumindest etwas aus dem richtigen Viertel gewählt?" (Dies ist die neue Superkraft).

Wenn der Roboter für ein Bild einer „Katze" „Tiger" rät, könnte Regel A ihm eine kleine Strafe geben, aber Regel B sagt: „Warte! Tiger ist im Katzen-Viertel! Das ist eine gute Schätzung!" Der Roboter erhält eine viel bessere Punktzahl als wenn er „LKW" geraten hätte.

Dies hilft dem Roboter zu lernen, dass die Welt Struktur hat. Er hört auf, „Katze" und „LKW" nur als zwei zufällige Etiketten zu behandeln, und beginnt zu verstehen, dass „Katze" und „Tiger" enge Freunde sind.

Warum dies wichtig ist: Drei Beispiele aus der realen Welt

Die Arbeit testete diesen Ansatz des „weisen Mentors" an drei verschiedenen Arten von Problemen, bei denen Standardmethoden normalerweise Schwierigkeiten haben:

1. Das Problem der „verrauschten Etiketten" (Asymmetrie der Etiketten)

Das Szenario: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt, bei dem der Lehrer versehentlich den falschen Lösungsschlüssel für einige Fragen aufschreibt. Vielleicht hält der Lehrer „Katzen" zu 60 % der Zeit tatsächlich für „Hunde".
Der alte Weg: Der Roboter wird verwirrt. Er versucht, die falschen Antworten auswendig zu lernen, weil der Lehrer sie am lautesten schreit.
CONVEYANCE: Der Roboter sieht auf die Karte. Er weiß: „Der Lehrer sagt 'Hund', aber ich weiß, dass 'Hund' ein Nachbar von 'Katze' ist. Ich wette, der Lehrer hat einen Fehler gemacht und es ist tatsächlich eine Katze." Er ignoriert das Rauschen und lernt die Wahrheit.

2. Das Problem des „Altersratens" (Ordinale Regression)

Das Szenario: Das Alter einer Person erraten. Wenn Sie raten, dass eine 30-Jährige 31 ist, ist das ein winziger Fehler. Wenn Sie raten, dass sie 60 ist, ist das ein riesiger Fehler.
Der alte Weg: Standardmethoden behandeln „31" und „60" nur als zwei verschiedene falsche Antworten. Es ist ihnen egal, dass 31 näher an 30 liegt.
CONVEYANCE: Die Karte sagt dem Roboter: „Wenn die Antwort 30 ist, dann sind 29, 30 und 31 alle akzeptable 'Viertel'-Schätzungen." Dies lehrt den Roboter, glatt und kontinuierlich zu sein, anstatt wild zwischen Altersgruppen zu springen.

3. Das Problem des „Familienbaums" (Hierarchische Klassifizierung)

Das Szenario: Vögel identifizieren. Es gibt viele Arten von „Grasmücken". Wenn der Roboter eine bestimmte Grasmücke sieht, die er noch nie gesehen hat, aber weiß, dass sie zur „Grasmücken"-Familie gehört, sollte er „Grasmücke" raten.
Der alte Weg: Der Roboter könnte stecken bleiben, wenn er versucht, den exakten Artennamen zu erraten, und völlig versagen, wenn er diesen spezifischen Vogel noch nie gesehen hat.
CONVEYANCE: Die Karte gruppiert alle Grasmücken zusammen. Selbst wenn der Roboter die genaue Art nicht kennt, weiß er, dass die „Grasmücken"-Familie das richtige Viertel ist. Er generalisiert besser auf neue, ungesichtete Vögel.

Das große Fazit

Die Autoren behaupten, dass CONVEYANCE ein „Allzweckwerkzeug" ist. Sie müssen keinen neuen, komplizierten Roboter für jedes spezifische Problem bauen. Sie müssen ihm nur eine einfache Karte geben, die zeigt, was mit was verwandt ist.

Es ist schnell: Es läuft genauso schnell wie die Standardmethoden.
Es ist flexibel: Es funktioniert für verrauschte Daten, Altersschätzung und Familienbäume.
Es ist intelligent: Es versteht, dass in der realen Welt einige Fehler verzeihlich sind und andere nicht.

Kurz gesagt, hört CONVEYANCE auf, die Welt wie eine Liste zufälliger, unverwandter Gegenstände zu behandeln, und beginnt, sie wie eine verbundene Karte zu behandeln, wodurch die KI intelligenter, robuster und weniger leicht durch Fehler verwirrt wird.

Technische Zusammenfassung: Conveyance

Problemstellung

Trotz rascher Fortschritte bei Deep-Learning-Architekturen bleiben Standard-Trainingsziele, insbesondere die Kreuzentropie (CE), weitgehend „strukturagnostisch". Diese Verlustfunktionen weisen skalare Strafen ausschließlich basierend auf der Übereinstimmung mit den Labels zu und behandeln alle Fehlklassifizierungen als austauschbar. Diese Annahme versagt in zwei kritischen Regimen:

Label-Asymmetrie: Szenarien, in denen die Beziehung zwischen beobachteten Labels und wahren Klassen strukturell nicht einheitlich ist, wie etwa Annotationsverzerrungen, Unterdiagnosen in der medizinischen Bildgebung oder Multiple Instance Learning (MIL), bei dem positive Beutel negative Instanzen enthalten.
Semantische und Ordinale Kontinuität: Domänen, in denen Kategorien Punkte auf einem Kontinuum repräsentieren (z. B. Alter, Krankheitsstadien, taxonomische Hierarchien). In diesen Fällen ist ein „Near-Miss"-Fehler semantisch weniger kostspielig als ein zufälliger Fehler, doch die Standard-CE bestraft beide gleich, was zu Overfitting und fragmentierten latenten Räumen führt.

Bestehende Lösungen adressieren diese Probleme oft isoliert. Soft-Label-Methoden verlassen sich auf symmetrische, vorab festgelegte Verteilungen, die keine asymmetrischen oder graph-strukturierten Beziehungen erfassen können. Strukturierte Output-SVMs und energiebasierte Modelle bieten prinzipielle Margen, erfordern jedoch nicht-differenzierbare Inferenz über exponentiell große Ausgabesräume. Contrastive Losses benötigen große Batches und empfindliches Pair-Mining. Kein bestehender Rahmen kombiniert strukturelle Ausdruckskraft, diskriminierende Kraft und rechnerische Einfachheit, die mit der Kreuzentropie vergleichbar wären.

Methodik: Conveyance

Die Autoren schlagen CONVEYANCE vor, ein Klassifizierungsrahmenwerk für strukturierte Klassenräume. Es besteht aus zwei Hauptkomponenten:

1. Wissenskodierung (Die Matrix $Q$ )

Anstatt komplexe gemeinsame Verteilungen oder Nutzenmatrizen zu definieren, spezifiziert der Benutzer eine Boolesche Matrix $Q \in \{0, 1\}^{C \times C}$ .

$Q_{ct} = 1$ zeigt an, dass es plausibel ist, dass eine Instanz mit Label $t$ tatsächlich zur Klasse $c$ gehört (oder umgekehrt).
Diese Matrix kodiert problemspezifisches Wissen, wie etwa Risiken für falsch-positive Ergebnisse, taxonomische Hierarchien oder ordinale Nachbarschaften.
Aus $Q$ wird für ein gegebenes Label $t$ eine Menge plausibler Klassen $S = \{c \in \mathcal{C} : Q_{ct} = 1\}$ abgeleitet.

2. Die Conveyance-Verlustfunktion

Die Verlustfunktion operationalisiert die Matrix $Q$ , indem sie zwei separate Margen über unterschiedliche Klassenpartitionen maximiert:
$\ell(p, t) = \log \left( 1 + \alpha \cdot \frac{1 - p_t}{p_t} + \beta \cdot \frac{1 - p_S}{p_S} \right)$
Wobei:

$p_t$ die Wahrscheinlichkeit der Zielklasse ist.
$p_S = \sum_{s \in S} p_s$ die Gesamtwahrscheinlichkeit der plausiblen Menge ist.
$\alpha$ und $\beta$ Hyperparameter sind.

Mechanismus:

Der erste Term ( $\alpha$ ) belohnt die Zuweisung von Wahrscheinlichkeit zur Zielklasse gegenüber Nicht-Zielklassen (Standard-Odds).
Der zweite Term ( $\beta$ ) belohnt die Zuweisung von Wahrscheinlichkeit zur plausiblen Menge $S$ gegenüber der unplausiblen Menge $N = \mathcal{C} \setminus S$ .
Durch Abstimmung von $\alpha$ und $\beta$ (z. B. $\alpha=0.1, \beta=10$ ) priorisiert das Modell die Konzentration der Masse auf die plausiblen Menge $S$ und verwendet das spezifische Ziel $t$ als Entscheidungshilfe.

Theoretische Eigenschaften:

Monotonie: Der Verlust nimmt ab, wenn die Wahrscheinlichkeitsmasse neu verteilt wird, um sowohl $p_t$ als auch $p_S$ zu erhöhen.
Partielle Konvexität: Der Verlust ist konvex bezüglich der Logits der unplausiblen Klassen ( $z_n$ für $n \in N$ ), wenn die plausiblen Logits konstant gehalten werden.
Effizienz: Der Verlust kann unter Verwendung von Log-Sum-Exp (LSE)-Operationen auf Logits umformuliert werden, was numerische Stabilität gewährleistet und einen Rechenaufwand aufweist, der mit der Standard-Kreuzentropie identisch ist ( $O(B \cdot C)$ ).

Hauptbeiträge

Ein einheitlicher Rahmen: CONVEYANCE bietet eine einzige Zielfunktion, die Label-Asymmetrie, ordinale Regression und hierarchische Klassifizierung handhabt, ohne Architekturänderungen oder generative Modelle zu erfordern.
Handhabbare Wissenskodierung: Die Verwendung einer Booleschen Matrix $Q$ ermöglicht Praktikern, komplexe strukturelle Priors (Graphen, Hierarchien) einfacher zu kodieren als vollständige Wahrscheinlichkeitsverteilungen, während sie ausdrucksstärker ist als feste parametrische Familien.
Theoretische Garantien: Die Arbeit etabliert die Monotonie und partielle Konvexität des Verlusts und liefert damit theoretische Grundlagen für eine stabile Optimierung.
Vielseitigkeit: Die Methode gewinnt die Standard-Kreuzentropie als Grenzfall ( $\beta=0$ ) zurück, bietet jedoch eine deutlich größere Flexibilität für strukturierte Räume.

Experimentelle Ergebnisse

Die Autoren evaluierten CONVEYANCE über drei Domänen hinweg und erzielten konsistent Ergebnisse, die spezialisierte State-of-the-Art (SOTA)-Benchmarks entweder erreichten oder übertrafen, bei gleichzeitiger Beibehaltung der Rechenkosten der Kreuzentropie.

1. Label-Asymmetrie (Annotationsverzerrung & MIL)

Synthetisches Rauschen: Auf CIFAR-10 und CIFAR-100 mit Spalten-, Block- und asymmetrischem Rauschen übertraf CONVEYANCE das generative „Masking"-Rahmenwerk [17] und die Standard-CE. Bemerkenswerterweise übertraf es auf CIFAR-100 mit asymmetrischem Rauschen die saubere-Data-CE-Baseline um +3,56 Prozentpunkte, was darauf hindeutet, dass der strukturelle Prior als impliziter Regularisierer wirkt.
Multiple Instance Learning (MIL): Auf fünf tabellarischen MIL-Benchmarks und dem Camelyon-16-Ganzschlitten-Bild-Benchmark erreichte CONVEYANCE SOTA-Genauigkeit und AUC. Auf Camelyon-16 verbesserte es den AUC um 1,8 Punkte gegenüber der nächstbesten Methode (CAMIL), obwohl keine problemspezifischen Architekturspezialisierungen (z. B. Feature-Destillation oder Prototyp-Clustering) verwendet wurden.

2. Ordinale Regression (Altersschätzung)

Evaluiert auf CACD2000, CLAP2016 und UTKFace.
CONVEYANCE erzielte auf allen Datensätzen den besten Mean Absolute Error (MAE) im Vergleich zu Soft-Prior-Methoden (Soft Labels, DLDL) und ordinal-spezifischen Architekturen (ORCNN).
Auf dem verrauschten CLAP2016-Datensatz reduzierte es den MAE um 0,17 gegenüber der stärksten Baseline (DLDL).
Qualitative Analysen zeigten, dass CONVEYANCE im Gegensatz zur CE, die den latenten Raum fragmentiert, Einbettungen in eine glatte, kontinuierliche Mannigfaltigkeit organisiert, die den semantischen Fortschritt des Alterns widerspiegelt.

3. Hierarchische Klassifizierung (Zero-Shot Gattungsgeneralisierung)

Evaluiert auf CUB-200-2011 (Vogelarten).
In einem Zero-Shot-Setting, bei dem Arten aus bestimmten Gattungen während des Trainings zurückgehalten wurden, erreichte CONVEYANCE die höchste OOD-Gattungs-Genauigkeit (85,1 %) und übertraf CE+SupCon (84,1 %) sowie CE+Triplet (80,9 %).
Die Methode organisierte kongenerische Arten erfolgreich in kohärente Cluster im Logit-Raum und demonstrierte eine effektive Übertragung der taxonomischen Struktur auf nicht gesehene Klassen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CONVEYANCE eine einheitliche, differenzierbare und architekturagnostische Alternative zu den komplexen Inferenzanforderungen strukturierter Output-Rahmenwerke (wie SSVMs) bietet. Ihre primäre Bedeutung liegt darin, die Hürde für die Integration von Domänenstruktur in das überwachte Lernen für Aufgaben zu senken, bei denen die Klassentopologie bekannt, aber schwierig durch generative Modellierung auszudrücken ist.

Die Autoren betonen, dass CONVEYANCE diese Ergebnisse mit minimaler Hyperparameter-Tuning (oft eine einzige Standardkonfiguration von $\alpha=0.1, \beta=10$ ) und keiner Erhöhung der rechnerischen Komplexität gegenüber der Standard-Kreuzentropie erzielt.

Anerkannte Einschränkungen:

Die Methode hängt von der Korrektheit der Eingabematrix $Q$ ab; falsche oder unvollständige Masken können spuriose Zuweisungen verstärken.
Der Hyperparameter $\alpha$ skaliert mit der Anzahl der Klassen und erfordert eine Neukalibrierung für Datensätze mit großem Vokabular (z. B. ImageNet).
Die Konstruktion einer aussagekräftigen $Q$ für feinkörnige oder großskalige Datensätze erfordert strukturiertes Domänenwissen oder Ontologien, die nicht immer verfügbar sind.

Die Arbeit schließt mit der Vision zukünftiger Arbeiten, $Q$ automatisch von Hilfsignalen (z. B. Annotator-Disagreement, Unsicherheitsschätzungen) abzuleiten und das Rahmenwerk auf Übergangsmasken auf Ebene der Proben zu erweitern.