Stellen Sie sich vor, Sie versuchen, jedes einzelne Sandkorn an einem Strand oder jeden winzigen Stern an einem überfüllten Nachthimmel zu zählen. Wenn man nur das Gesamtbild betrachtet, ist es ein verschwommenes Gebilde. Wenn man versucht, sie einzeln mit einer Lupe zu zählen, übersieht man vielleicht einige oder zählt dieselben zweimal. Dies ist der tägliche Kampf für Computer, die Dinge in Bildern „zählen“ wollen, eine Aufgabe, die als Objektzählung bekannt ist. Lange Zeit hatten Computer zwei Hauptwege, um dies zu tun. Der erste war, als würde man Wasser über den Sand gießen: Sie erstellten eine „Dichtekarte“, einen glatten Hügel, bei dem die Höhe darstellte, wie viele Dinge vorhanden waren. Das war gut, um eine grobe Gesamtsumme zu erhalten, aber schrecklich darin, Ihnen genau zu sagen, wo sich jedes Sandkorn befand. Der zweite Weg war, als würde man einen Laserpointer verwenden, um jeden einzelnen Stern zu markieren. Das war großartig, um Standorte zu finden, aber wenn die Sterne zu dicht gedrängt waren, wurde der Computer verwirrt, verbrauchte zu viele „Pointer“ (Markierungen) oder geriet in eine Endlosschleife und begann, Dinge zu übersehen oder stecken zu bleiben.

Stellen Sie sich nun vor, dieser neue Künstler, der nicht nur einen verschwommenen Hügel malt oder eine begrenzte Anzahl von Laserpointern verwendet. Stattdessen beginnt dieser Künstler mit einer Leinwand voller statischem Rauschen – wie ein Fernsehbildschirm ohne Signal – und entfernt Schritt für Schritt das Rauschen, um ein perfektes, scharfes Bild davon zu enthüllen, wo genau sich jedes Objekt befindet. Dies ist der Kernaspekt einer neuen Methode namens CoDi (Counting by Diffusion). Die Forscher hinter dieser Arbeit, Grega Šuštar und sein Team, haben ein System entwickelt, das ein „Diffusionsmodell“ nutzt – eine Art von KI, die berühmt für die Generierung von Bildern ist –, um das Zählproblem zu lösen. Anstatt eine Zahl zu raten oder ein Kästchen zu zeichnen, lernt CoDi, eine leere Leinwand zu „entrauschen“, bis daraus kleine, deutliche Punkte hervorgehen, die jeweils ein Objekt repräsentieren. Der magische Trick dabei ist, dass dies selbst möglich ist, wenn man ihm nur ein oder zwei Beispiele zeigt, wonach es suchen soll, oder wenn man ihm überhaupt keine Beispiele gibt. Es ist, als würde man einem Freund ein einzelnes Foto einer bestimmten Pilzart zeigen und ihn bitten, jeden einzelnen dieser Pilze in einem Wald zu finden; CoDi rät nicht nur die Gesamtzahl, sondern zeigt auf den exakten Punkt jedes einzelnen Pilzes, selbst in den dichtesten, überfülltesten Teilen des Waldes.

Das Problem: Das „Überfüllte Zimmer“-Dilemma

Das Zählen von Dingen in einem Foto ist einfach, wenn die Objekte weit verstreut sind. Aber was passiert, wenn Sie ein Foto von einem Bienenschwarm, einem Haufen Weintrauben oder einer Menschenmenge haben? Hier stoßen die alten Methoden an ihre Grenzen.

Die „Dichte“-Methoden sind wie der Versuch, eine Menge zu zählen, indem man die „Hitze“ der Menge misst. Wenn die Menge dicht ist, ist die Hitze hoch, und der Computer weiß, dass dort viele Menschen sind. Aber er kann Ihnen nicht sagen, wer wo ist. Wenn Sie versuchen, einzelne Personen zu finden, indem Sie nach den höchsten Spitzen in dieser Heatmap suchen, liegen Sie oft falsch, weil die Hitze alles verschwimmen lässt.

Die „Detektions“-Methoden sind wie ein Sicherheitswachmann mit einer begrenzten Anzahl von Walkie-Talkies. Der Wachmann kann auf bestimmte Personen zeigen, aber wenn es zu viele Menschen gibt (mehr als die Anzahl der Walkie-Talkies), muss der Wachmann die Menge in kleinere Gruppen aufteilen, sie separat zählen und versuchen, die Antworten wieder zusammenzufügen. Das ist langsam, unordentlich und führt oft dazu, dass dieselbe Person doppelt gezählt wird oder jemand ganz übersehen wird.

Die Lösung: CoDis „Magisches Rauschen“

Die Autoren schlagen CoDi vor, ein System, das das Zählen wie ein Spiel des „Aufräumens von Statik“ behandelt.

So funktioniert es, Schritt für Schritt:

1. Der Ausgangspunkt: Stellen Sie sich einen leeren, verrauschten Fernsehbildschirm vor. Dies ist der Ausgangspunkt für CoDi. Es weiß noch nicht, wo sich die Objekte befinden.
2. Der „Exemplar“-Hinweis: Wenn Sie Äpfel zählen wollen, zeigen Sie dem Computer ein paar Bilder von Äpfeln (sogenannte „Exemplare“). CoDi besitzt ein spezielles „Conditioning-Modul“, das wie ein superintelligenter Filter wirkt. Es betrachtet Ihre Apfel-Beispiele und sagt: „Okay, ich muss Dinge finden, die exakt so aussehen wie diese, und alles andere ignorieren.“
3. Der Entrauschungs-Tanz: CoDi beginnt, das Rauschen vom Fernsehbildschirm zu entfernen, aber es tut dies auf eine ganz spezifische Weise. Es rät nicht einfach nur; es verfeinert das Bild schrittweise. Mit jedem Schritt verwandelt sich das verschwommene Rauschen in immer schärfere Punkte.
4. Das Ergebnis: Am Ende des Prozesses ist der Bildschirm nicht mehr ein verschwommener Hügel oder eine unordentliche Liste. Es ist eine saubere Karte mit winzigen, scharfen Spitzen. Jeder Peak ist ein perfekter Punkt, der ein Objekt repräsentiert. Der Computer zählt dann einfach die Punkte.

Das Geheimnis ist, dass CoDi lernt, diese scharfen Punkte einzeln zu generieren, anstatt sie zu mitteln. Das bedeutet, dass CoDi selbst in einer extrem überfüllten Szene, in der sich Objekte berühren, die Objekte trennen und sie genau zählen kann.

Was sie herausgefunden haben: Die Besten schlagen

Das Team testete CoDi auf einigen sehr schwierigen Datensätzen, darunter FSC147 (der 147 verschiedene Arten von Objekten enthält) und MCAC (ein Datensatz für das Zählen mehrerer Klassen). Die Ergebnisse waren beeindruckend:

• Few-Shot Counting: Wenn es nur wenige Beispiele erhält (wie 3 Bilder des Zielobjekts), schlug CoDi die derzeit besten Methoden um 15 % in Bezug auf die Genauigkeit (Mean Absolute Error, oder MAE).
• One-Shot Counting: Selbst wenn es nur ein Beispiel erhielt, war CoDi immer noch die beste Methode und übertraf die bisherige Spitzenmethode um 13 %.
• Keine Beispiele (Referenzlos): Wenn es keine Beispiele erhielt und gefragt wurde, das häufigste Objekt im Bild zu zählen, übertraf CoDi die besten bestehenden Methoden dennoch um 10 %.
• Die Multi-Class-Herausforderung: Auf dem MCAC-Datensatz, bei dem ein Bild beispielsweise Äpfel, Orangen und Bananen gemischt enthalten kann, hat CoDi die Konkurrenz vernichtend geschlagen und die Top-Methode um massive 38 % übertroffen.

Warum das wichtig ist

Die Arbeit schließt explizit die Idee aus, dass man eine massive Anzahl von vorab trainierten „Pointern“ (wie bei den alten Detektionsmethoden) benötigt, um riesige Menschenmengen zu zählen. Sie zeigten, dass das Zerlegen von Bildern (Tiling) ein umständlicher Workaround ist, der das System verlangsamt und Fehler verursacht. CoDi beweist, dass man das Bild nicht zerschneiden muss; man kann das gesamte Bild auf einmal verarbeiten und trotzdem perfekte Ergebnisse erzielen.

Sie zeigten auch, dass CoDi robust ist. Selbst wenn die Beispiele, die man ihm gibt, etwas unordentlich sind oder die Objekte winzig sind, hält es stand. Tatsächlich fanden die Autoren heraus, dass CoDi so stabil ist, dass die Zählung, wenn man dasselbe Bild zwanzigmal durch das System laufen lässt, im Durchschnitt um weniger als 1 % variiert.

Die Grenzen und die Zukunft

Obwohl CoDi ein riesiger Schritt nach vorn ist, sind die Autoren ehrlich darüber, wo es Schwierigkeiten hat. Es hat manchmal Probleme mit Objekten, die extrem lang und dünn sind (wie eine Reihe von Büchern, die auf der Kante stehen), oder wenn Objekte auf sehr seltsame Weise überlappen. Sie merken auch an, dass es zwar hervorragend darin ist, die Mitte eines Objekts zu finden, aber noch nicht in der Lage ist, ein Kästchen um das gesamte Objekt zu ziehen (obwohl sie planen, daran zu arbeiten).

Kurz gesagt legt CoDi nahe, dass wir, indem wir das Zählen als einen Prozess des „Reinigens von Rauschen“ statt als das „Raten einer Zahl“ behandeln, Computer bauen können, die Menschenmengen so sehen wie Menschen: nicht als einen verschwommenen Fleck, sondern als eine Sammlung von unterscheidbaren, zählbaren Individuen. Es ist eine neue Art, die Welt zu sehen, einen Punkt nach dem anderen.