Take It or Leave It: Intent-Controlled Partial Optimal Transport

Dieser Beitrag stellt Intent-Controlled Partial Optimal Transport (IC-POT) vor, ein neuartiges Framework, das den partiellen optimalen Transport verallgemeinert, indem es die globale Massenverwerfung durch punktweise, absichtsgesteuerte Verwerfungskosten auf Basis von Zusatzinformationen ersetzt und dadurch strukturierte und zuverlässigere Zuordnungen in Anwendungen wie dem Lernen mit positiven und ungelabelten Daten sowie der Analyse multimodaler Satellitendaten ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, zwei verschiedene Gruppen von Menschen für einen Tanz zusammenzubringen. Eine Gruppe ist die „Quelle" (sagen wir, Tänzer aus New York) und die andere ist das „Ziel" (Tänzer aus London).

Der alte Weg (Standard-Optimaler Transport):
Traditionell war die Regel strikt: Jeder einzelne Tänzer muss einen Partner finden. Selbst wenn ein New Yorker Tänzer eine Clownsnase trägt und ein Londoner Tänzer ein Tutu, zwingt der Algorithmus sie zur Paarung, nur um die Zahlen zu matchen. Dies führt oft zu albernen, erzwungenen Matches, die keinen Sinn ergeben.

Der „partielle" Weg (frühere Lösungen):
Später sagten Forscher: „Okay, wir können einige Personen ohne Partner lassen." Aber sie taten dies mit einem globalen Budget. Stellen Sie sich einen Manager vor, der sagt: „Wir können 10 % der Tänzer am Rand stehen lassen." Dem Manager ist egal, wer übrig bleibt; er braucht nur, dass die Gesamtzahl 10 % beträgt. Wenn die 10 %, die übrig bleiben, zufällig die besten Tänzer sind, ist das Match ruiniert. Dem System fehlt die Nuance.

Der neue Weg (IC-POT – „Nimm es oder lass es"):
Dieser Artikel führt den Intent-Controlled Partial Optimal Transport (IC-POT) ein. Anstelle eines globalen Budgets erhält jeder einzelne Tänzer ein persönliches „Ablehnungs-Preisschild".

Stellen Sie es sich wie einen Türsteher in einem Club vor, aber dieser Türsteher ist für jede Person anders:

• Die „Nimm es"-Regel: Wenn ein Tänzer zuverlässig, gut gekleidet ist und zum Vibe passt, ist sein „Ablehnungspreis" hoch. Der Algorithmus denkt: „Es kostet zu viel, diese Person rauszuwerfen, also müssen wir versuchen, ihr einen Partner zu finden."
• Die „Lass es"-Regel: Wenn ein Tänzer eindeutig fehl am Platz ist (vielleicht ist er ein Clown auf einem formellen Ball, oder seine Daten sind verrauscht), ist sein „Ablehnungspreis" niedrig. Der Algorithmus denkt: „Es ist billig, diese Person am Rand stehen zu lassen, also werden wir das tun."

Wie es im echten Leben funktioniert (die Beispiele des Artikels)

Die Autoren zeigen, dass dies in drei spezifischen Szenarien funktioniert:

1. Das „Ratespiel" (Positive-Unlabeled Learning)
Stellen Sie sich vor, Sie versuchen, alle Katzen auf einem Foto zu finden, aber Sie haben nur ein paar beschriftete Katzenfotos und einen riesigen Stapel unbeschrifteter Fotos (einige Katzen, einige Hunde).

• Das Problem: Manche Katzen sind im Schatten versteckt (schwer zu sehen), während andere hell und klar sind. Eine Standard-„partielle" Methode könnte die schattigen Katzen wegwerfen, weil sie effizient sein will.
• Die IC-POT-Lösung: Das System weiß, dass „schattige" Bereiche nur schwer zu sehen sind, nicht unbedingt „keine Katzen". Es legt ein hohes Preisschild auf das Ablehnen schattiger Katzen. Es behält sie im Match. Es legt ein niedriges Preisschild auf die offensichtlichen Hunde. Das Ergebnis? Es findet mehr Katzen, ohne sich von Hunden verwirren zu lassen.

2. Die „Sprachbarriere" (Open-Partial Domain Adaptation)
Stellen Sie sich vor, Sie lehren einen Computer, Objekte auf Fotos aus einem neuen Land zu erkennen. Manche Objekte existieren in beiden Ländern (Autos, Bäume), aber einige nur im neuen Land (einzigartige einheimische Tiere).

• Das Problem: Der Computer könnte versuchen, ein einheimisches Tier mit einem Auto zu matchen, weil er verzweifelt ist, alle zu paaren.
• Die IC-POT-Lösung: Das System betrachtet die „Sicherheit" des Matches. Wenn ein einheimisches Tier sehr sicher in seiner eigenen Identität ist, aber keine Übereinstimmung im alten Land hat, gibt ihm das System ein niedriges Ablehnungspreis. Es sagt: „Lass dieses Tier ohne Partner; es gehört nicht zur alten Liste." Aber wenn ein Auto eindeutig ein Auto ist, ist der Preis für seine Ablehnung hoch, also wird es gematcht.

3. Der „Meerblick" (Geophysikalische Daten)
Dies ist das visuellste Beispiel. Die Autoren verglichen zwei verschiedene Satellitenkameras, die Meereswellen betrachten.

• Das Problem: Eine Kamera (SWIM) sieht Wellen klar, bekommt aber in bestimmten Richtungen „Rauschen" (Störungen). Die andere Kamera (SAR) sieht Wellen gut, wird aber in anderen Richtungen aufgrund der Physik „unscharf".
• Die IC-POT-Lösung: Das System verwendet physikalisches Wissen als Preisschild.
  • Wenn eine Welle in Kamera A unscharf ist, aber in Kamera B klar, sagt das System: „Das ist eine echte Welle, aber Kamera A hat einfach einen schlechten Tag. Lehne sie nicht ab." (Hoher Preis für Ablehnung).
  • Wenn eine Welle in Kamera A klar ist, aber in Kamera B wie „Rauschen" aussieht, sagt das System: „Kamera B sieht einfach nur Rauschen. Lehne dieses Match ab." (Niedriger Preis für Ablehnung).
  • Ergebnis: Sie erhalten eine perfekte Karte der Wellen, indem sie die spezifischen „Glitches" jeder Kamera ignorieren, anstatt zu versuchen, eine echte Welle mit einem Glitch zu matchen.

Die große Erkenntnis

Der Artikel argumentiert, dass nicht alle Fehlabstimmungen gleich sind.

• Alte Methode: „Lass uns 10 % der Daten zufällig oder basierend auf einer einfachen Regel ablehnen."
• IC-POT: „Schauen wir uns jedes Datenelement individuell an. Wenn es zuverlässig ist, behalten wir es. Wenn es unzuverlässig oder verrauscht ist, lassen wir es weg. Wir entscheiden dies basierend auf spezifischen Hinweisen (wie Schatten, Sicherheitswerten oder Sensorphysik), die für dieses spezifische Datenelement verfügbar sind."

Es verwandelt die Entscheidung „was wegzuwerfen" von einem stumpfen Instrument in ein präzises, intelligentes Werkzeug.

Technische Zusammenfassung

Technische Zusammenfassung: Intent-Controlled Partial Optimal Transport (IC-POT)

Problemstellung

Der klassische Optimal Transport (OT) erzwingt eine starre Einschränkung, bei der alle Quellmasse transportiert und alle Zielmasse erklärt werden müssen. Diese Annahme der „vollständigen Teilnahme" führt häufig zu künstlichen Korrespondenzen oder negativem Transfer beim Vergleich von Verteilungen, bei denen nur eine Teilmenge der Masse relevant oder zuverlässig ist.

Während Partial Optimal Transport (POT) dies lockert, indem er zulässt, dass Masse unzugeordnet bleibt, stützen sich bestehende Formulierungen typischerweise auf globale Steuerungsmechanismen. Dazu gehören ein skalares Budget für transportierte Masse, ein einheitlicher skalärer Rabatt oder globale Randstrafen. Diese Mechanismen steuern, wie viel Masse abgelehnt wird, aber nicht, welche spezifischen Punkte geschützt oder verworfen werden sollen. Folglich versagen sie bei Anwendungen, bei denen die Entscheidung, Masse unzugeordnet zu lassen, von seiten-spezifischer Zuverlässigkeit, Trägergeometrie oder externen Informationen abhängt (z. B. Stichprobenverzerrung beim Lernen mit Positiv-Unmarkierten Daten, Vertrauen bei der Domänenanpassung oder sensor-spezifische Artefakte in der Geophysik).

Methodik: IC-POT

Die Autoren führen Intent-Controlled Partial Optimal Transport (IC-POT) ein, eine gezielte Verallgemeinerung von POT, die das Paradigma der globalen Ablehnung durch punktweise Ablehnungskosten auf beiden Maßstäben der Quelle und des Ziels ersetzt.

Formulierung

Gegeben diskrete Träger $X = \{x_i\}$ und $Y = \{y_j\}$ mit Massen $\mu$ und $\nu$ sowie einer Transportkostenmatrix $C$, führt IC-POT Schlupfvariablen $u$ (unzugeordnete Quellmasse) und $v$ (unzugeordnete Zielmasse) ein. Das Optimierungsproblem lautet:

$$\min_{P, u, v} \langle C, P \rangle + \langle c_s, u \rangle + \langle c_t, v \rangle$$
unter den Nebenbedingungen:
$$P\mathbf{1} + u = \mu, \quad P^\top\mathbf{1} + v = \nu, \quad P, u, v \geq 0$$

Hier sind $c_s \in \mathbb{R}^n_+$ und $c_t \in \mathbb{R}^m_+$ punktweise Kosten für unzugeordnete Masse. Im Gegensatz zu globalen Rabatten bewerten diese Kosten die lokale Alternative, spezifische Masse unzugeordnet zu lassen, direkt auf den ursprünglichen Trägern.

Strukturelle Eigenschaften

Die Arbeit etabliert mehrere zentrale theoretische Eigenschaften:

1. Reduzierte Lagrange-Form: Das Problem ist äquivalent zur Minimierung von $\sum_{i,j} (C_{ij} - c_s(i) - c_t(j))P_{ij}$ über Teil-Kopplungen und ersetzt effektiv den skalaren Rabatt des klassischen POT durch einen separierbaren, punktweisen Rabatt.
2. Duale Interpretation: Die duale Formulierung zeigt, dass $c_s(i)$ und $c_t(j)$ als lokale Akzeptanzschwellen (Obergrenzen) für die dualen Variablen wirken. Ein Punkt wird abgelehnt, wenn seine duale Variable diese Obergrenze erreicht.
3. Zulässigkeit und Sparsamkeit: Eine Kante $(i, j)$ kann nur in einem optimalen Transportplan aktiv sein, wenn $C_{ij} \leq c_s(i) + c_t(j)$ gilt. Dies liefert eine exakte, vorberechnete Regel zum Beschneiden des Transportgraphen und gewährleistet Sparsamkeit basierend auf den spezifischen Ablehnungskosten.
4. Äquivalenz des erweiterten Trägers: IC-POT kann als ein standardisiertes, ausgeglichenes Kantorovich-OT-Problem auf einem erweiterten Träger umformuliert werden (durch Hinzufügen eines Dummy-Punkts zu jedem Rand), was die Wohlgestelltheit innerhalb des diskreten OT-Rahmens beweist.

Hauptbeiträge

Die Arbeit beansprucht drei primäre Beiträge:

1. Explizite Modellierung unzugeordneten Verhaltens: Sie macht die Politik der Unzugeordnetheit zu einem expliziten Objekt in der Formulierung mittels Schlupfvariablen auf den ursprünglichen Trägern, anstatt ein implizites Ergebnis globaler Einschränkungen zu sein.
2. Theoretische Charakterisierung: Sie charakterisiert das Problem als eine separierbare, punktweise-rabattbasierte Verallgemeinerung des Lagrange-Partial-Transports, etabliert duale Obergrenzen, sparsame Zulässigkeitsregeln und eine strikte Trennung von Partial-OT mit konstanten Kosten (demonstriert durch Gegenbeispiele, bei denen punktweise Kosten Symmetrien brechen, die durch einheitliche Regeln erhalten bleiben).
3. Empirische Validierung: Sie zeigt, dass die Integration von punktweisen Ablehnungsregeln, die durch Seiteninformationen gesteuert werden, die Leistung in Aufgaben verbessert, bei denen die Ablehnung strukturiert ist, speziell beim Lernen mit Positiv-Unmarkierten (PU) Daten, Open-Partial Domain Adaptation (OPDA) und beim Vergleich geophysikalischer Signale.

Experimentelle Ergebnisse

1. Lernen mit Positiv-Unmarkierten (PU) Daten

Beim PU-Lernen besteht das Ziel darin, gelabelte Positive gegen einen unmarkierten Pool abzugleichen, der sowohl latente Positive als auch Negative enthält.

• Setup: Die Autoren simulieren Szenarien „Selected at Random" (SAR), bei denen positive Stichproben in bestimmten Regionen (Rändern) aufgrund einer von Kovariaten abhängigen Selektionsverzerrung unterbeobachtet werden.
• Ergebnis: Eine Baseline mit Partial-OT und konstanten Kosten (einheitliche Ablehnung) versagt darin, diese unterbeobachteten Randregionen zu schützen und behandelt sie als Negative. IC-POT, das ein Profil von Quellseiten-Kosten verwendet, das die Selektionsverzerrung kodiert (was Ablehnung in Rändern mit geringer Beobachtung teuer macht), übertrifft die Baseline erheblich.
• Metriken: In heterogenen Regimen erreichte IC-POT einen F1-Score von 0,86 im Vergleich zu 0,52 für die Baseline mit konstanten Kosten.

2. Open-Partial Domain Adaptation (OPDA)

Bei OPDA enthält die Ziel-Domäne unbekannte Klassen, die abgelehnt werden sollten.

• Setup: Unter Verwendung eines festen CLIP-Destillations-Rückgrats modifizierten die Autoren nur die letzte Ablehnungsschicht. Sie verglichen eine einheitliche Partial-W-Baseline mit zwei IC-POT-Varianten: eine unter Verwendung von posteriorer Entropie (Schutz von Proben mit niedriger Entropie) und eine unter Verwendung von Prototyp-Träger (Schutz von Proben mit kohärenter lokaler Nachbarschaftszustimmung).
• Ergebnis: Beide IC-POT-Varianten verbesserten sich gegenüber der einheitlichen Baseline über mehrere Datensätze hinweg (Office-31, Office-Home, VisDA, DomainNet). Die Variante mit Prototyp-Träger erzielte die höchsten Gewinne auf lokal kohärenten Datensätzen (z. B. 95,12 H-Score auf Office-31 gegenüber 94,08 für Partial-W).
• Erkenntnis: Die Ergebnisse deuten darauf hin, dass, sobald die Repräsentation feststeht, Leistungsgewinne davon abhängen, Ablehnung als eine strukturabhängige Politik und nicht als einheitliche skalare Regel zu modellieren.

3. Geophysikalische Fallstudie: SWIM/SAR-Ozeanwellenspektren

Dieses Experiment adressiert den Vergleich von Ozeanwellenspektren, die von zwei verschiedenen Sensoren (SWIM und SAR) mit unterschiedlichen Artefakten zurückgewonnen wurden.

• Kontext: SAR-Spektren leiden unter „Azimut-Abschneidung" (Verdrängung von Energie), während SWIM-Spektren unter „Speckle" (unzuverlässige Richtungssektoren) leiden. Das Ziel ist der Vergleich nur physikalisch konsistenter Wellensysteme.
• Methode: IC-POT verwendet seiten-spezifische Kosten, die aus physikalischen Prioritäten abgeleitet sind: Schutz der durch Abschneidung verdrängten SAR-Masse (falls durch SWIM gestützt), während speckle-dominierte oder nicht gestützte Masse der Ablehnung ausgesetzt wird.
• Ergebnis: IC-POT erzielte eine vergleichbare Wellenenergie (0,993), die mit einer hochpreisigen globalen Baseline vergleichbar war, reduzierte jedoch den falschen Transport um den Faktor 7 (0,031 gegenüber 0,236).
• Bedeutung: Im Gegensatz zu einer skalaren Regel, die einen Kompromiss zwischen der Wiederherstellung gemeinsamer Systeme und der Ablehnung von Artefakten erzwingt, ermöglicht IC-POT, dass die Ablehnungspolitik durch die physikalische Natur der Daten selbst definiert wird.

Bedeutung und Einschränkungen

Die Arbeit argumentiert, dass IC-POT bedeutsam ist, weil es das Paradigma des Partial-Transports von „wie viel abzulehnen" zu „was abzulehnen" verschiebt. Indem es die Politik der Unzugeordnetheit zu einer expliziten, punktweisen Variable macht, ermöglicht es, domänenspezifisches Wissen (Stichprobenverzerrung, Vertrauen, physikalische Prioritäten) direkt in den Transportplan einfließen zu lassen.

Von den Autoren anerkannte Einschränkungen:

• Spezifikation: Die Funktionen für Unzugeordnetheit ($c_s, c_t$) müssen vom Benutzer basierend auf verfügbaren Seiteninformationen oder Diagnosen spezifiziert werden. Die Arbeit schlägt keine Methode vor, um diese Funktionen automatisch aus Daten zu lernen, deutet dies jedoch als zukünftige Richtung an (z. B. via Bilevel-Optimierung).
• Skalierbarkeit: Obwohl der sparsame Solver exakt ist, erfordern großskalige Anwendungen möglicherweise weitere Approximationen.
• Regularisierung: Die Autoren stellen fest, dass die Standard-entropische Regularisierung (Sinkhorn) nicht direkt auf die Formulierung des erweiterten Trägers anwendbar ist, ohne das Ziel zu verändern (Einführung einer Verzerrung der insgesamt transportierten Masse) oder Skalierungsinkonsistenzen zwischen Dummy- und realen Punkten zu erzeugen. Daher ist IC-POT kein direktes Ersatzprodukt für Standard-entropische OT-Löser.

Zusammenfassend bietet IC-POT ein flexibles Framework für strukturierte Ablehnung im Optimal Transport und zeigt, dass die Kodierung von Seiteninformationen in punktweise Ablehnungskosten in Aufgaben, bei denen die Entscheidung „unzugeordnet" inhärent nicht einheitlich ist, überlegene Leistung erzielt.