🤖 AI

Cohort Organized Learning: Clustering Through Agreement

Dieses Paper führt Cohort Organized Learning (CoOL) ein, eine auf neuronalen Netzen basierende Clustering-Methode, die Daten ohne explizite Distanz- oder Ähnlichkeitsberechnungen gruppiert, indem sie die Erwartungsmaximierung für das Training, die Konvergenzüberwachung und die Evaluierung über verschiedene Datentypen hinweg nutzt.

Ursprüngliche Autoren: Finn Henry O'Shea, Maria Elena Monzani

Veröffentlicht 2026-06-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Finn Henry O'Shea, Maria Elena Monzani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Sortieren eines Berges unbeschrifteter Steine

Stellen Sie sich vor, ein Wissenschaftler hat einen riesigen Haufen Steine. Er weiß, dass verschiedene Gesteinsarten (wie Granit, Sandstein und Kalkstein) darin vermischt sind, aber niemand hat die Zeit gefunden, sie zu beschriften. In der realen Welt passiert das ständig – bei Daten von Teleskopen, Teilchenbeschleunigern oder sogar Ihrem Handy. Es gibt zu viele Daten, als dass Menschen sie manuell sortieren könnten.

Normalerweise verwenden Computer ein Lineal, um diese Steine zu sortieren. Sie messen den Abstand zwischen jedem Stein und jedem anderen Stein, um zu sehen, welche „nah“ beieinander liegen. Aber das Messen der Abstände zwischen Millionen von Objekten ist langsam, teuer und manchmal funktioniert das „Lineal“ nicht gut, wenn die Steine seltsam geformt sind.

Die neue Lösung: Das „Kohorten“-Gremium von Beobachtern

Die Autoren dieser Arbeit führen eine neue Methode namens CoOL (Cohort Organized Learning) ein. Anstatt ein Lineal zu benutzen, um Abstände zu messen, nutzt CoOL ein Gremium von Beobachtern (das sind im Grunde Computerprogramme, sogenannte neuronale Netze), um die Steine durch Zustimmung (Agreement) zu sortieren.

Denken Sie an es wie ein Spiel wie „Was bin ich?“, bei dem ein Gremium aus 5 Experten sitzt:

Der Aufbau: Man zeigt allen 5 Experten denselben Haufen Steine zur exakt gleichen Zeit.
Die Vermutung: Jeder Experte betrachtet einen Stein und sagt: „Ich glaube, das ist Granit“ oder „Ich glaube, das ist Sandstein“.
Der Konflikt: Zu Beginn sind sich die Experten uneinig. Einer sagt „Granit“, ein anderer sagt „Sandstein“.
Das Lernen: Die Experten sprechen miteinander (mathematisch gesehen). Sie merken: „Warte, wenn ich ‚Granit‘ sage und du für denselben Stein ‚Sandstein‘ sagst, liegen wir wahrscheinlich beide falsch.“
Die Übereinstimmung: Sie passen ihre internen Regeln so an, dass sie am Ende alle darüber zustimmen, was die Steine sind. Wenn alle 5 Experten zustimmen, dass ein Stein „Granit“ ist, dann handelt es sich wahrscheinlich um einen „Granit“-Cluster.

Wie es ohne Lehrer funktioniert

Normalerweise muss man einen Computer unterrichten, indem man ihm sagt: „Nein, das ist eigentlich Sandstein.“ Das nennt man „überwachtes Lernen“ (supervised learning). CoOL ist unüberwacht (unsupervised), was bedeutet, dass es keinen Lehrer gibt.

Die Arbeit verwendet einen mathematischen Trick namens Expectation Maximization (EM). Stellen Sie sich vor, die Experten versuchen, eine „Wahrheit“ zu finden, auf die sie sich alle einigen können.

Der „Zuverlässigkeits“-Check: Das System prüft, wie zuverlässig jeder Experte ist. Wenn Experte A ständig seine Meinung ändert, während die anderen sich einig sind, lernt das System, Experte A weniger zu vertrauen.
Die „Determinanten“-Regel: Um zu verhindern, dass die Experten faul werden (z. B. indem alle entscheiden: „Alles ist Granit“, weil das die einfachste Antwort ist), fügt die Mathematik eine Strafe hinzu. Sie zwingt die Experten dazu, die Steine in verschiedene Gruppen aufzuteilen. Wenn alle alles in einen einzigen Haufen werfen würden, sagt die Mathematik: „Nein, das ist eine schlechte Lösung!“ und drängt sie dazu, deutlichere Gruppen zu finden.

Der „Gruppierungs“-Trick: Den Umgang mit unterschiedlichen Antworten meischen

Ein schwieriger Teil dieser Methode ist, dass die Experten eine Gruppe in einem Durchgang vielleicht „Cluster A“ nennen und im nächsten Durchgang „Cluster B“. Es ist so, als würde ein Experte ein Tier als „Canine“ bezeichnen und ein anderer als „Welpe“. Die Namen ändern sich, aber die Gruppe bleibt dieselbe.

Um dies zu lösen, nutzen die Autoren eine Gruppierungsstrategie (Grouping).

Stellen Sie sich vor, Sie lassen die Experten 5 Mal laufen.
Stein #1 wird beschriftet: (Gruppe 1, Gruppe 3, Gruppe 1, Gruppe 2, Gruppe 1).
Stein #2 wird beschriftet: (Gruppe 1, Gruppe 3, Gruppe 1, Gruppe 2, Gruppe 1).
Auch wenn sich die Nummern ändern, bleibt das Muster der Übereinstimmung gleich. Indem das System das Muster der Beschriftungen über viele Durchläufe hinweg betrachtet, kann es erkennen, dass Stein #1 und Stein #2 definitiv die gleiche Art von Stein sind, selbst wenn die Namen, die ihnen gegeben wurden, variierten.

Was sie getestet haben

Die Autoren haben dies bei zwei Dingen getestet:

Eine einfache 2D-Karte: Sie erstellten eine künstliche Karte mit farbigen Punkten. Selbst obwohl die Punkte auf eine knifflige Weise vermischt waren, schafften es die 5 Experten, sie in die richtigen Gruppen zu sortieren, ohne jemals den Abstand zwischen den Punkten zu messen.
MNIST handgeschriebene Ziffern: Sie verwendeten den berühmten Datensatz handgeschriebener Zahlen (0 bis 9).
- Erfolg: Als sie das System baten, 3 oder 5 Ziffern zu sortieren, funktionierte es sehr gut. Die Experten stimmten bei den Beschriftungen fast 100 % der Zeit überein.
- Einschränkung: Als sie das System baten, alle 10 Ziffern gleichzeitig zu sortieren, hatte es etwas Schwierigkeiten. Die Experten fingen an, verwirrt zu sein, und konnten sich nicht so leicht einig werden. Dies deutet darauf hin, dass die Methode am besten funktioniert, wenn die Anzahl der Gruppen nicht zu groß ist.

Anomalien erkennen

Ein cooler Nebeneffekt dieser Methode ist die Anomalieerkennung (anomaly detection).
Stellen Sie sich vor, Sie trainieren die Experten auf normale Steine. Dann zeigen Sie ihnen einen Stein, der eigentlich ein Stück Plastik ist.

Die Experten werden den Kunststoff betrachten und anfangen zu streiten. Einer sagt „Granit“, ein anderer „Sandstein“, ein dritter „Kalkstein“.
Da sie sich nicht einig werden, weiß das System, dass etwas „außerhalb der Verteilung“ (out of distribution) liegt (also seltsam ist).
Die Arbeit legt nahe, dass dies verwendet werden kann, um zu erkennen, wenn sich Daten über die Zeit verändern (wie etwa ein Sensor in einer Maschine, der kaputt geht, oder ein neues Typ von Teilchen erscheint), ohne dass man wissen muss, was diese neuen Daten tatsächlich sind.

Zusammenfassung

CoOL ist eine Methode, um Daten zu sortieren, ohne Abstände zu messen. Stattdessen nutzt es ein Team von Computerprogrammen, die lernen, sich darauf zu einigen, was die Daten sind. Wenn sie sich einig sind, werden die Daten sortiert. Wenn sie streiten, sind die Daten seltsam oder das System muss sich anpassen. Es ist eine Möglichkeit, die Daten des Universums zu organisieren, indem man ein Komitee aus KI-Experten über die Antwort abstimmen lässt.

Technisches Resümee: Cohort Organized Learning (CoOL)

Problemstellung

Der moderne wissenschaftliche Prozess erzeugt riesige Mengen an hochdimensionalen, unbeschrifteten Daten (z. B. von Teilchenbeschleunigern, Teleskopen und Dunkle-Materie-Detektoren). Konventionelle Methoden zur Organisation dieser Daten sind oft zu kostspielig oder rechnerisch zu aufwendig. Während Clustering eine grundlegende Strategie zur Partitionierung unbeschrifteter Daten darstellt, verlassen sich die meisten existierenden Algorithmen – einschließlich Deep-Learning-Ansätze – auf explizite Distanz- oder Ähnlichkeitsmatrix-Berechnungen zwischen den Stichproben. Diese Methoden haben oft Schwierigkeiten mit der Skalierbarkeit (da die Affinitätsberechnungen quadratisch mit der Stichprobengröße skalieren) oder erfordern spezifische Definitionen von Nähe in latenten Räumen. Dieses Paper adressiert das Bedürfnis nach einer Clustering-Methode, die nicht auf expliziten Distanz- oder Ähnlichkeitsmetriken in der Zielfunktion basiert.

Methodik: Cohort Organized Learning (CoOL)

CoOL ist eine Methode zur Partitionierung von Daten mittels einer Kohorte differenzierbarer Beobachter (neurale Netze), die lernen, über Cluster-Identitäten zu einer Übereinstimmung zu gelangen, ohne explizite Distanzberechnungen durchzuführen. Der Kernmechanismus basiert auf dem Expectation-Maximization-Framework (EM), adaptiert aus der Arbeit von Dawid und Skene [18], das ursprünglich für die Schätzung von Klassenidentitäten aus verrauschten Experten-Labels entwickelt wurde.

Kernarchitektur

Beobachter (Observers): Das System verwendet eine benutzerdefinierte Anzahl von Beobachtern ( $K$ ), implementiert als neuronale Netze. Jeder Beobachter schätzt die Wahrscheinlichkeitsverteilung über $J$ mögliche Klassen für eine gegebene Stichprobe.
Simultaneität: Eine kritische Anforderung ist, dass alle Beobachter denselben Batch von Stichproben gleichzeitig verarbeiten. Dies stellt sicher, dass die „Übereinstimmung“ aus demselben Datenkontext abgeleitet wird.
EM-Prozess:
- Initialisierung: Beobachter erzeugen initiale Label-Wahrscheinlichkeiten ( $s^{(k)}_{ij}$ ).
- E-Schritt: Die Wahrscheinlichkeit, dass eine Stichprobe zu einer Klasse gehört, wird als Mittelwert der Ausgaben aller Beobachter geschätzt.
- M-Schritt: Der Algorithmus schätzt die „Reliability-Matrix“ ( $\pi^{(k)}$ ) für jeden Beobachter, welche deren Fehlerraten repräsentiert, basierend auf den aktuellen Konsens-Labels.
Verlustfunktion und Training:
Das Netzwerk wird trainiert, um einen negativen Log-Likelihood-Verlust zu minimieren, kombiniert mit einem Regularisierungsterm:
$L = \sum_{k=1}^{K} \left( -\alpha \sum_{i,c} I(y_i=c) \log(s^{(k)}_{ic}) - \lambda |\det(\tilde{\pi}^{(k)})| \right)$
- Der erste Term fungiert als Cross-Entropy-Verlust, wobei die „wahren“ Labels ( $y_i$ ) aus der EM-Konsensverteilung ( $T^{(t)}_{ij}$ ) gezogen werden.
- Der zweite Term regularisiert die Determinante der unnormierten Reliability-Matrix ( $\tilde{\pi}^{(k)}$ ). Dies verhindert die degenerative Lösung, bei der alle Beobachter übereinstimmen, dass alle Stichproben zu einem einzigen Cluster gehören. Die Maximierung der Determinante ermutigt die Beobachter dazu, die Stichproben gleichmäßig unter den Klassen aufzuteilen.
Gradienten-Sharing: Die aus dem Determinanten-Term abgeleiteten Gradienten werden über alle Beobachter hinweg geteilt. Dies ermöglicht es der Kohorte, kollaborativ zu lernen, was ihnen hilft, lokale Minima zu verlassen und zu einer konsistenten Partitionierung der Daten zu konvergieren.

Überwachung der Konvergenz

Da keine Ground-Truth-Labels verfügbar sind, überwacht CoOL die Konvergenz anhand von fünf Attributen:

Loss (Verlust): Sollte sinken und sättigen.
Agreement Rate (Übereinstimmungsrate): Der Anteil der Stichproben, bei denen alle Beobachter auf das gleiche Label übereinstimmen (Ziel >95 %).
Unique Classes (Einzigartige Klassen): Die Anzahl der erzeugten distinkten Labels sollte der benutzerdefinierten Anzahl der Cluster entsprechen.
Determinante der Reliability-Matrizen: Sollte wachsen und sättigen, was auf eine nicht-degenerative Partitionierung hindeutet.
Shannon Equitability Index (SEI): Misst, wie gleichmäßig die Stichproben unter den Klassen verteilt sind; ein Wert nahe 1 deutet auf eine ausgewogene Partitionierung hin.

Wichtige Beiträge

Distanzfreies Clustering: CoOL führt ein Paradigma ein, bei dem Clustering durch die „Übereinstimmung“ einer Kohorte von Lernern erreicht wird, anstatt durch explizite Distanz- oder Ähnlichkeitsmetriken.
Differenzierbares EM: Das Paper leitet spezifische Gradienten für das Training neuronaler Netze unter Verwendung des EM-Algorithmus her und adaptiert den Dawid-und-Skene-Rahmen für das End-to-End Deep Learning.
Label-freie Konvergenzmetriken: Es liefert ein robustes Set an Metriken zur Evaluierung des Clustering-Erfolgs ohne die Notwendigkeit von Ground-Truth-Labels.
Umgang mit beliebigen Cluster-Anzahlen: Das Paper führt eine „Grouping“-Strategie ein, um Szenarien zu handhaben, in denen die Anzahl der Cluster unbekannt ist oder die Cluster-Labels über verschiedene Durchläufe hinweg beliebig sind. Durch die Konkatenierung von Cluster-Zuweisungen aus mehreren Durchläufen entstehen konsistente Gruppen, selbst wenn die individuellen Durchlauf-Labels variieren.
Detektion von Verteilungsdrift: Die Methode zeigt, dass die Disagreement-Rate (Uneinigkeit) unter den Beobachtern als Signal zur Detektion von Out-of-Distribution (OOD) Daten oder Verteilungsverschiebungen dienen kann.

Ergebnisse

Die Autoren evaluierten CoOL auf synthetischen 2D-Daten und dem MNIST-Datensatz für handgeschriebene Ziffern.

Synthetische Daten: CoOL partitionierte erfolgreich einen schwierigen 2D, 3-Klassen-Datensatz mit überlappenden Klassen und demonstrierte dabei nicht-lineare Diskriminierungsgrenzen ohne distanzbasierte Hyperparameter.
MNIST-Experimente:
- Performance: CoOL wurde beim Clustering von 3, 5, 7 und 9 Ziffern getestet.
  - 3 Klassen: CoOL-Conv (konvolutionale Architektur) erreichte eine Genauigkeit von 95,7 %, was vergleichbar mit IDEC (98,9 %) und TELL (87,4 %) ist.
  - 5-7 Klassen: CoOL-Conv war wettbewerbsfähig mit TELL, lag aber hinter IDEC zurück.
  - 9 Klassen: Die Performance sank signifikant (25,9 % Genauigkeit für CoOL-Conv), wobei die Übereinstimmungsrate auf nahezu Null fiel. Die Autoren führen dies auf die Schwierigkeit zurück, einen Konsens bei einer hohen Anzahl von Klassen mit den Standard-Regularisierungsparametern zu erreichen.
- Vergleich: IDEC erzielte konsistent die höchste Genauigkeit, wahrscheinlich aufgrund des Pre-Trainings auf dem vollständigen MNIST-Datensatz. CoOL-Conv übertraf SpectralNet und K-Means in der Genauigkeit im Allgemeinen bei niedrigeren Klassenzahlen, hatte aber Schwierigkeiten, wenn die Anzahl der Klassen zunahm.
- Grouping: Wenn die Anzahl der Cluster (4) geringer war als die Anzahl der wahren Klassen (5 Ziffern), identifizierte die Grouping-Strategie erfolgreich konsistente Untergruppen (z. B. die Trennung von Nullen von anderen Ziffern) und zeigte, dass CoOL visuell ähnliche Ziffern (z. B. 2 und 3) zusammenfasste.
- OOD-Detektion: Beim Präsentieren ungesehener Ziffern stieg die Disagreement-Rate unter den Beobachtern signifikant an, was die Nützlichkeit der Methode zur Detektion von Verteilungsdrift demonstriert.

Bedeutung und Limitationen

Das Paper positioniert CoOL als flexibles Werkzeug für das Clustering jeglicher Daten, die mit differenzierbaren Modellen kompatibel sind, insbesondere in hochdimensionalen wissenschaftlichen Kontexten, in denen Distanzmetriken schwer definiert oder rechenintensiv sind.

Bescheidene Ansprüche: Die Autoren betonen explizit, dass sie nicht versuchen, den Stand der Technik bei MNIST zu übertreffen, sondern vielmehr die Nützlichkeit und Mechanik des CoOL-Frameworks demonstrieren wollen.
Limitationen:
- CoOL hat Schwierigkeiten mit einer hohen Anzahl von Clustern (z. B. 9 Klassen) unter Standard-Hyperparametern und scheitert oft daran, eine gültige Partitionierung zu erreichen.
- Die Methode beruhet auf der Annahme, dass Stichproben in Gruppen partitioniert werden können, in denen „ähnlichere“ Stichproben zusammengeclustert werden; sie lernt nicht inhärent einen metrischen Raum.
- Die aktuelle Implementierung verwendet eine einzige EM-Iteration pro Epoche; die Auswirkungen mehrerer EM-Iterationen wird als Thema für zukünftige Arbeiten offen gelassen.
Zukunftsaussichten: Die Autoren sehen potenzielle Anwendungen in der semi-überwachten Lernprozesse, dem Multi-Modal-Clustering (z. B. gleichzeitiges Clustering von Bildern und Klängen) und der Entwicklung besserer Regularisierungsstrategien (z. B. Verwendung von Entropie oder Mutual Information). Sie merken zudem an, dass die Methode auch zur Erkennung von Anomalien oder Verteilungsverschiebungen in Echtzeit-Datenströmen angewendet werden kann.