Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzleteil zu lösen, aber anstatt nur eines Bildes haben Sie ein Team von Freunden, von denen jeder ein anderes Teil des Puzzles hält. Ein Freund hat den Himmel, ein anderer den Ozean und ein dritter die Berge. Wenn Sie alle ihre Teile zusammenfügen, erhalten Sie ein perfektes, vollständiges Bild. So funktioniert „multimodale“ KI: Sie kombiniert verschiedene Arten von Daten – wie Fotos, Klänge und Sensormesswerte –, um intelligentere Entscheidungen zu treffen. Aber hier ist der Haken: In der realen Welt läuft nicht immer alles nach Plan. Vielleicht geht die Kamera kaputt, das Mikrofon wird nass oder ein Sensor ist leer. Plötzlich fehlt ein paar Freunden Ihres Teams, und das Puzzle ist unvollständig. Wenn Ihre KI nur darauf trainiert ist, zu funktionieren, wenn alle anwesend sind, wird sie in dem Moment, in dem ein Teil fehlt, abstürzen und scheitern. Dies ist ein riesiges Problem für Roboter, selbstfahrende Autos und medizinische Geräte, die auch dann zuverlässig funktionieren müssen, wenn ihre Werkzeuge ausfallen.

Das Papier, das Sie gleich lesen werden, befasst sich mit genau diesem Kopfzerbrechen. Es stellt die Frage: Wie können wir eine KI lehren, klug und präzise zu bleiben, selbst wenn ihr einige ihrer Datenquellen fehlen? Die Autoren schlagen einen cleveren neuen Weg vor, diese Systeme zu trainieren – nicht indem sie versuchen, die fehlenden Teile „zusammenzukleben“, sondern indem sie die verschiedenen Datenquellen lehren, miteinander zu kommunizieren und einander auszuhelfen. Sie nennen das „Co-Learning“. Stellen Sie sich das wie eine Lerngruppe vor, in der der Schüler, der gut in Mathe ist, demjenigen hilft, der gut in Geschichte ist, sodass der Mathe-Schüler die ganze Geschichte erklären kann, falls der Geschichts-Schüler fehlt. Die Forscher haben ihre Ideen auf zwei sehr unterschiedliche Herausforderungen getestet: die Identifizierung von Anbauarten aus Satellitendaten und die Erkennung menschlicher Aktivitäten durch tragbare Sensoren. Sie fanden heraus, dass ihre neuen Methoden die KI viel belastbarer machen und sie auf Kurs halten, selbst wenn die Daten unordentlich oder unvollständig werden.

Das Problem: Wenn das Team ein Mitglied verliert

In der Welt der künstlichen Intelligenz ist „multimodale Klassifizierung“ wie ein Detektiv, der mehrere Sinne nutzt, um einen Fall zu lösen. Anstatt nur ein Tatortfoto zu betrachten, hört der Detektiv auch Audioaufnahmen, liert Zeugenaussagen und prüft Wetterberichte. Durch die Kombination all dieser Hinweise kann der Detektiv (oder die KI) eine viel bessere Vermutung darüber anstellen, was passiert ist. Die Realität ist jedoch chaotisch. In der Erdbeobachtung kann eine Satellitenkamera durch Wolken blockiert werden oder ein Radar kann ausfallen. In menschenzentrierten Studien kann ein tragbarer Sensor die Batterie verlieren oder die Verbindung unterbrechen.

Das große Problem ist, dass die meisten KI-Modelle davon ausgehen, dass alle Hinweise immer vorhanden sein werden. Wenn Sie ein Modell mit fünf Arten von Daten trainieren und es dann mit nur drei verwenden wollen, gerät es oft durcheinander und macht schreckliche Fehler. Frühere Versuche, dies zu beheben, konzentrierten sich meist auf „robuste Fusion“, was so ist, als würde man versuchen, einen Tisch zu bauen, der stabil bleibt, selbst wenn man ein Bein entfernt. Die Autoren dieses Papiers argumentieren, dass dieser Ansatz Grenzen hat, insbesondere wenn man viele verschiedene Arten von Daten hat und jede beliebige Kombination davon fehlen könnte. Sie wollten wissen: Was wäre, wenn wir nicht nur versuchen würden, das Loch zu flicken, sondern staten würden, dass die verbleibenden Datenquellen füreinander einspringen?

Die Lösung: Eine Lerngruppe für Daten

Die Autoren führen ein Framework namens „Co-Learning for Missing Arbitrary Modalities“ ein. Anstatt die KI zu zwingen, alle Daten zu einem einzigen riesigen Klumpen zu verschmelzen, stellen sie ein Team spezialisierter Modelle auf, eines für jede Art von Daten (wie eines für optische Bilder, eines für Radar, eines für Wetterdaten). Diese Modelle werden darauf trainiert, zusammenzuarbeiten und ihr Wissen zu teilen.

Sie entwickelten zwei spezifische Strategien, oder „Methoden“, um diese Teamarbeit zu ermöglichen:

1. Co-Miss (Co-learning for Missing): Diese Methode ist wie eine strenge Übung. Während des Trainings wird die KI gezwungen, ständig mit fehlenden Daten zu üben. Es ist, als würde der Lehrer dem Geschichts-Schüler zufällig sagen: „Du bist heute abwesend“, und der Mathe-Schüler muss die gesamte Lektion trotzdem erklären. Die KI lernt, das zu „imitieren“, was das volle Team gesagt hätte, selbst wenn Teile des Teams fehlen. Dies wird als „Missing Distillation“ bezeichnet. Es funktioniert hervorragend, wenn nur ein oder wenige Teile der Daten fehlen.
2. FullCo (Full Co-learning): Diese Methode ist für die schlimmsten Szenarien konzipiert, in denen fast das gesamte Team fehlt. Sie nutzt eine Technik namens „Mutual Distillation“, bei der jedes einzelne Datenmodell versucht, von den anderen und von der endgültigen Gruppenentscheidung zu lernen. Es ist wie eine Round-Robin-Lernsitzung, bei der jeder jeden unterrichtet. Dieser Ansatz glänzt, wenn die KI mit sehr wenig Information zurückgelassen wird, etwa wenn nur noch ein einziger Sensor funktioniert.

Beide Methoden stützen sich auf zwei Ebenen des Lernens. Auf der Merkmalsebene (Feature Level) lernen die Modelle, was „gemeinsam“ ist (wie die allgemeine Form eines Baumes, die sowohl ein Foto als auch ein Radar sehen können) und was „spezifisch“ ist (wie die Textur der Rinde, die nur das Foto sehen kann). Auf der Entscheidungsebene (Decision Level) nutzen sie Knowledge Distillation, wobei die Modelle versuchen, sich auf die endgültige Antwort zu einigen, um einander dabei zu helfen, auch bei geringer Datenverfügbarkeit auf dem richtigen Weg zu bleiben.

Die Ergebnisse: Stark im Sturm

Die Forscher testeten ihre Ideen anhand zweier realer Datensätze. Der erste war Multi-CropHarvest, bei dem es darum geht, Anbauarten unter Verwendung von vier verschiedenen Sensoren zu identifizieren: optische Bilder, Radar, Wetterdaten und topografische Karten. Der zweite war HL-Opportunity, ein Datensatz mit 19 verschiedenen Sensoren am Körper einer Person, um Aktivitäten wie „ein Sandwich zubereiten“ oder „aufräumen“ zu erkennen.

Die Ergebnisse waren vielversprechend. Wenn die KI mit allen vorhandenen Daten getestet wurde, schnitt sie sehr gut ab. Aber der wahre Test kam, als sie begannen, Daten zu entfernen:

• Im Szenario „Minimal Missing“ (wo nur ein Sensor ausfiel), war die Co-Miss-Methode der Star. Sie verlor kaum an Genauigkeit, was bewies, dass ihr „Drill“-Ansatz sie perfekt auf kleine Störungen vorbereitet hatte.
• Im Szenario „Extreme Missing“ (wo fast alle Sensoren ausfielen und nur noch einer übrig blieb), übernahm die FullCo-Methode die Führung. Während andere Methoden einbrachen und ihre Leistung signifikant verloren, konnte FullCo standhalten und zeigte, dass seine „gegenseitige Lehrstrategie“ ihm half, den Sturm zu überstehen.

Zum Beispiel: Bei der Aufgabe der Krafterkennung, als die KI nur mit einem Sensor zurückgelassen wurde, sahen traditionelle Methoden einen Leistungsabfall von etwa 40 Punkten. Die Methoden der Autoren sanken deutlich weniger, wobei FullCo nur um etwa 24 Punkte sank. Bei der Aktivitätserkennung mit 19 Sensoren behielt die FullCo-Methode selbst dann eine hohe Genauigkeit bei, wenn die meisten Sensoren weg waren, und übertraf damit viele andere State-of-the-Art-Ansätze.

Was das bedeutet

Das Papier legt nahe, dass wir durch eine Verschiebung des Fokus – weg vom bloßen „Zusammenschweißen“ von Daten hin zum Lehren der Datenquellen zur Zusammenarbeit – wesentlich robustere KI-Systeme bauen können. Die Autoren fanden heraus, dass ihre Methoden konsistent die besten existierenden Techniken übertroffen oder mit ihnen gleichzogen, und zwar in verschiedenen Szenarien mit fehlenden Daten.

Sie merkten jedoch auch einen Kompromiss an. Die Co-Miss-Methode ist, obwohl sie exzellent für Probleme mit geringem Datenverlust ist, rechenintensiv im Training, da sie simulieren muss, welche Kombinationen von Daten fehlen könnten. Wenn man 10 Sensoren hat, sind das über 1.000 Kombinationen, die man üben muss! Aus diesem Grund empfehlen sie FullCo für Situationen, in denen Daten massiv fehlen könnten oder wenn man eine große Anzahl an Sensoren besitzt.

Letztlich zeigt diese Arbeit, dass die Zukunft zuverlässiger KI nicht nur darin besteht, mehr Daten zu haben, sondern darin, den vorhandenen Daten beizubringen, wie sie einander helfen, wenn etwas schiefgeht. Ob es ein Satellit ist, der versucht, durch Wolken zu sehen, oder eine Smartwatch, die dein Training verfolgt, wenn die Batterie leer ist – diese Co-Learning-Strategien bieten einen Weg zu einer KI, die nicht aufgibt, wenn das Licht ausgeht.