Technische Zusammenfassung: Durch fehlende Daten induzierte Phasenübergänge in der spektralen PLS für multimodales Lernen

Problemstellung

Multimodales Lernen umfasst häufig die Extraktion gemeinsamer niedrigdimensionaler Strukturen aus gepaarten Datenansichten $(X, Y)$. Obwohl die Partielle Kleinste-Quadrate-Methode (PLS), insbesondere ihre spektrale Formulierung über die Singulärwertzerlegung (PLS-SVD), ein Standardwerkzeug für diese Aufgabe ist, leiden reale multimodale Datensätze häufig unter fehlenden Einträgen in beiden Ansichten aufgrund von Erfassungsfehlern oder heterogenen Pipelines.

Das zentrale Problem besteht im Verständnis der fundamentalen Grenzen von PLS-SVD, wenn beide Ansichten Missing-Completely-At-Random (MCAR)-Maskierungen unterliegen. Konkret untersuchen die Autoren:

1. Unter welchen Bedingungen versagt PLS-SVD bei fehlenden Daten, die latente gemeinsame Strukturen wiederherzustellen?
2. Wie verändert der Mechanismus des Fehlens quantitativ die Wiederherstellungsschwelle und die asymptotische Überlappung zwischen geschätzten und wahren Singulärvektoren?
3. Existiert ein scharfer Phasenübergang, bei dem der Schätzer mit zunehmender Signalstärke von uninformativ zu informativ wechselt?

Methodik

Theoretischer Rahmen

Die Autoren analysieren PLS-SVD innerhalb eines proportionalen hochdimensionalen Spiked-Modells.

• Aufbau: Sei $N$ die Anzahl der Stichproben und $D_x, D_y$ die Merkmalsdimensionen der beiden Ansichten. Die Aspektverhältnisse sind $\alpha_x = N/D_x$ und $\alpha_y = N/D_y$.
• Signalmodell: Die vollständigen (unmaskierten) Daten folgen einem Spiked-Modell mit Rang 1, wobei $Y_\star = \theta (X_\star u_0)v_0^\top + Z$, mit $X_\star$ gebleicht, $u_0, v_0$ als Einheits-Signalvektoren und $Z$ als i.i.d. Gaußsches Rauschen.
• Fehlen: Unabhängige MCAR-Masken $S_x$ und $S_y$ werden angewendet, mit Erhaltungswahrscheinlichkeiten $\rho_x$ und $\rho_y$. Die gemeinsame Erhaltungswahrscheinlichkeit ist $\rho = \rho_x \rho_y$. Fehlende Einträge werden als Null behandelt.
• Schätzer: Der Algorithmus berechnet die führenden Singulärvektoren der skalierten empirischen Kreuzkovarianzmatrix $C = \frac{1}{N\sqrt{\rho}} X^\top Y$.

Analytischer Ansatz

Die Arbeit verwendet eine Replica-Symmetrie (RS)-Analyse, eine Technik aus der statistischen Physik, die zur Untersuchung hochdimensionaler Zufallsmatrixprobleme eingesetzt wird.

1. Reduktion auf Spiked-Modell: Die Autoren zeigen, dass unter dualer MCAR-Maskierung die beobachtete Kreuzkovarianzmatrix asymptotisch wie eine gespikte rechteckige Zufallsmatrix verhält. Entscheidend ist, dass das Fehlen als multiplikative Dämpfung der Signalstärke wirkt und einen effektiven Spike $\theta_{\text{eff}} = \sqrt{\rho} \theta$ definiert.
2. Freie-Energie-Optimierung: Durch Einführung von Quellfeldern und den Grenzübergang zur Temperatur Null ($\beta \to \infty$) leiten die Autoren eine replika-symmetrische freie Energiedichte ab. Diese wird optimiert, um die stationären Punkte zu finden, die den asymptotischen Überlappungen entsprechen.
3. Herleitung des Phasenübergangs: Die Analyse ergibt eine kritische Schwellenwertbedingung. Unterhalb dieses Schwellenwerts sind die führenden Singulärvektoren asymptotisch orthogonal zum wahren Signal (Null-Überlappung). Oberhalb wird eine nicht-triviale Ausrichtung erreicht.

Hauptbeiträge

1. Vorhersage eines scharfen Phasenübergangs: Die Arbeit leitet eine geschlossene kritische Schwelle $\theta_{\text{crit}}$ für PLS-SVD unter dualer Abwesenheit her:
   $$\theta_{\text{crit}} = \frac{1}{(\alpha_x \alpha_y)^{1/4} \sqrt{\rho}}$$
   Dies zeigt, dass fehlende Daten das erforderliche Signal-zu-Rausch-Verhältnis effektiv um einen Faktor von $1/\sqrt{\rho}$ erhöhen.

2. Asymptotische Überlappungsformeln: Für Signalstärken $\theta > \theta_{\text{crit}}$ liefern die Autoren explizite Formeln für die asymptotischen quadrierten Überlappungen $r_x^2$ und $r_y^2$ zwischen den geschätzten und wahren Singulärvektoren. Diese Formeln hängen von den Aspektverhältnissen, der gemeinsamen Erhaltungswahrscheinlichkeit und der Signalstärke ab.

3. Erweiterung auf endlichen Rang (Vermutung): Die Autoren vermuten, dass für latente Strukturen vom Rang $k$ mit getrennten Spikes die Schwellenwertbedingung für einen einzelnen Spike komponentenweise gilt. Das heißt, die $i$-te Komponente ist genau dann wiederherstellbar, wenn ihre spezifische Stärke $\theta_i$ den angepassten Schwellenwert $\theta_{\text{crit}}$ überschreitet.

4. Empirische Validierung:

   • Synthetische Experimente: Umfangreiche Monte-Carlo-Simulationen bestätigen die vorhergesagte Phasengrenze und Überlappungskurven über verschiedene Aspektverhältnisse, Signalstärken und Fehlerraten hinweg.
   • Semi-synthetische Experimente: Unter Verwendung realer biologischer Datensätze (TCGA BRCA und PBMC Multiome) extrahieren die Autoren empirische Signalrichtungen und validieren, dass der theoretische Phasenübergang auch dann gilt, wenn die Signalgeometrie nicht zufällig und biologisch ist.
   • Praktische Diagnostik: Die Arbeit schlägt eine „Split-Half-Stabilitäts"-Metrik (Korrelation zwischen Singulärvektoren aus zwei zufälligen Datenhälften) als diagnose ohne Ground-Truth vor, um festzustellen, ob sich das System im wiederherstellbaren Regime befindet.

Ergebnisse

• Dämpfungseffekt: Das Hauptergebnis ist, dass duale Abwesenheit das effektive Signal-zu-Rausch-Verhältnis um $\sqrt{\rho}$ reduziert. Beispielsweise erfordert eine Ausfallrate von 30 % in beiden Ansichten ($\rho \approx 0,49$) eine Erhöhung der Signalstärke um den Faktor $1/\sqrt{0,49} \approx 1,43$, um die gleiche Wiederherstellungsleistung wie im vollständig beobachteten Fall zu erzielen.
• Phasendiagramm: Der Übergang von uninformativer zu informativer Wiederherstellung ist scharf. Die theoretische Phasengrenze stimmt mit empirischen Heatmaps mit hoher Korrelation ($r > 0,99$) überein.
• Robustheit:
  • Die Lage des Phasenübergangs ist robust gegenüber moderaten Abweichungen von MCAR (z. B. Missing-At-Random), obwohl die Wiederherstellungsqualität leidet, wenn das Fehlen signalabhängig ist.
  • Die Theorie gilt für verschiedene Rauschverteilungen, obwohl Rauschen mit unendlicher Kurtosis (z. B. Student-t mit $\nu=3$) die Überlappungen im superkritischen Bereich verschlechtert.
  • Einfaches „Missing-as-Zero"-PLS-SVD mit geeigneter Normalisierung konkurriert unter MCAR-Bedingungen mit komplexeren Imputations-Baselines (EM-PLS, Iterative SVD) und bietet eine überlegene Recheneffizienz.
• Vorverarbeitung: Für zählwertbasierte Daten (z. B. RNA-seq) sind varianzstabilisierende Transformationen (Rangnormalisierung, sqrt-CPM) vor dem Bleichen notwendig, um mit den theoretischen Vorhersagen übereinzustimmen; rohe oder log-CPM-Transformationen führen zu Abweichungen.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste rigorose Charakterisierung der fundamentalen Grenzen der spektralen PLS bei Vorliegen von fehlenden Daten in beiden Ansichten zu liefern. Indem sie das Problem im Kontext der Spiked-Zufallsmatrixtheorie und des BBP-Übergangs (Baik-Ben Arous-Péché) formuliert, bieten die Autoren:

1. Ein Vorhersagewerkzeug: Eine präzise Formel, um zu bestimmen, ob ein gegebener multimodaler Datensatz mit fehlenden Einträgen genügend Signal enthält, damit PLS-SVD erfolgreich ist.
2. Ein mechanistisches Verständnis: Die Identifizierung von Abwesenheit als einfache multiplikative Dämpfung des Signals, anstatt als komplexe strukturelle Korruption, vereinfacht die Analyse von Problemen mit fehlenden Daten in spektralen Methoden.
3. Praktische Anleitung: Die Arbeit legt nahe, dass in hochdimensionalen Settings eine einfache Normalisierung von „Missing-as-Zero"-Daten oft ausreicht, sofern die Signalstärke an die Erhaltungswahrscheinlichkeit angepasst wird. Sie hebt zudem hervor, dass die Split-Half-Stabilität als praktischer Proxy für den theoretischen Phasenübergang dienen kann, wenn keine Ground-Truth verfügbar ist.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass die Analyse MCAR, i.i.d. Gaußsches Rauschen und ein gebleichtes Design voraussetzt. Sie erkennen an, dass die Erweiterung auf endlichen Rang eine durch Experimente gestützte, aber nicht rigoros bewiesene Vermutung ist und dass das Argument nicht direkt auf die Kanonische Korrelationsanalyse (CCA) übertragbar ist, bei der Maskierung die Kovarianzgeometrie innerhalb der Ansichten stört.