💻 computer science

Neurosymbolic Object-Centric Learning with Distant Supervision

Der Artikel stellt DeepObjectLog vor, ein probabilistisches neurosymbolisches Modell, das objektspezifische Repräsentationen direkt aus globalen Aufgabenlabels mittels entfernter Überwachung lernt und damit eine überlegene Generalisierung außerhalb der Trainingsverteilung bei visuellen Schlussfolgerungsaufgaben ermöglicht, ohne dass Annotationen auf Objektebene erforderlich sind.

Ursprüngliche Autoren: Stefano Colamonaco, David Debot, Giuseppe Marra

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stefano Colamonaco, David Debot, Giuseppe Marra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Matheproblem zu lösen, aber Sie zeigen ihm nur die endgültige Antwort, nicht die Schritte oder die einzelnen Zahlen.

Zum Beispiel zeigen Sie dem Roboter ein Bild, auf dem eine „3" und eine „4" hingekritzelt sind, und sagen ihm: „Die Antwort ist 7." Sie sagen dem Roboter nicht, wo die 3 ist, wo die 4 ist, oder sogar wie viele Zahlen auf dem Bild sind. Sie geben einfach nur das Bild und die endgültige Summe.

Das ist die Herausforderung, der sich die Arbeit stellt. Die meisten KI-Modelle sind wie Schüler, die den Lösungsschlüssel auswendig gelernt haben, aber die Mathematik nicht wirklich beherrschen, wenn sich die Zahlen ändern. Sie haben Schwierigkeiten, wenn das Bild eine andere Anzahl von Gegenständen oder eine neue Kombination von Objekten enthält.

Das Problem: Die „Black Box" versus das „Logikrätsel"

Die aktuelle KI fällt in zwei Lager, die beide Mängel aufweisen:

Reine neuronale Netze (Die Black Box): Diese sind hervorragend im Erkennen von Mustern, aber schrecklich im Schlussfolgern. Wenn Sie sie trainieren, zwei Zahlen zu addieren, lernen sie möglicherweise, die Form der Summe „7" zu erkennen, anstatt tatsächlich 3 + 4 zu addieren. Wenn Sie ihnen 4 + 3 zeigen, sind sie möglicherweise verwirrt, weil das Muster etwas anders aussieht.
Neurosymbolische KI (Das Logikrätsel): Diese Modelle verwenden strenge logische Regeln (wie „Wenn A + B = C"). Sie sind hervorragend im Schlussfolgern, benötigen aber normalerweise, dass ein Mensch ihnen genau sagt, wo sich die Objekte befinden. Sie können nicht auf ein chaotisches Foto schauen und sagen: „Ah, hier ist eine 3 und dort eine 4." Sie benötigen die Objekte vorgefertigt und übergeben.

Die Lösung: DeepObjectLog (Der Detektiv)

Die Autoren haben ein neues System namens DeepObjectLog entwickelt. Stellen Sie es sich wie einen Detektiv vor, der lernt, ein Rätsel zu lösen, indem er den Tatort und das endgültige Urteil betrachtet, ohne zu wissen, wer die Verdächtigen sind.

So funktioniert es, anhand einer einfachen Analogie:

1. Das „Slot"-System (Die Lupe des Detektivs)
Stellen Sie sich vor, die KI verfügt über eine Reihe unsichtbarer „Slots" oder Lupen, die sie überall auf einem Bild platzieren kann. Sie weiß nicht, wie viele Objekte vorhanden sind, also verteilt sie beispielsweise 5 Lupen.

Einige Lupen landen auf einer „3".
Einige landen auf einer „4".
Einige landen auf leerem Hintergrundraum.

2. Die „Objekt"-Frage (Ist es ein Verdächtiger?)
Für jede Lupe fragt die KI: „Ist dies tatsächlich ein Objekt oder nur Hintergrundrauschen?"

Wenn es Hintergrund ist, sagt die KI: „Ignorieren Sie diesen."
Wenn es ein Objekt ist, sagt es: „Das ist ein Verdächtiger!" und versucht zu erraten, was es ist (z. B. „Das sieht aus wie eine 3").

3. Die „Logikschicht" (Der Richter)
Das ist der magische Teil. Die KI nimmt alle ihre Vermutungen („Verdächtiger A ist eine 3, Verdächtiger B ist eine 4, Verdächtiger C ist nichts") und führt sie durch ein strenges Logikprogramm (wie ein Mathe-Regelbuch).

Das Regelbuch sagt: „Wenn Sie die Zahlen der echten Verdächtigen addieren, muss das Ergebnis mit der endgültigen Antwort übereinstimmen, die wir erhalten haben (7)."
Wenn die KI falsch geraten hat (z. B. dachte sie, der Hintergrund sei eine 5), ergibt die Mathematik nicht 7. Die Logikschicht sagt: „Das ergibt keinen Sinn" und sendet ein Signal zurück an den Detektiv, seine Meinung zu ändern.

4. Lernen aus dem Fehler
Immer wieder passt die KI ihre Lupen an. Sie lernt, dass, wenn die endgültige Antwort 7 ist, sie muss eine 3 und eine 4 finden. Sie lernt, das Hintergrundrauschen zu ignorieren, weil dessen Einbeziehung die Mathematik zerstört.

Warum das eine große Sache ist

Die Arbeit behauptet, dieser Ansatz sei überlegen, weil er Struktur lernt und nicht nur Auswendiglernen.

Generalisierung (Der „neues Rätsel"-Test): Wenn Sie die KI auf Bildern mit 2 oder 3 Zahlen trainieren und ihr dann ein Bild mit 5 Zahlen zeigen, kann sie es trotzdem lösen. Warum? Weil sie die Regel des Addierens gelernt hat, nicht nur das Muster von „zwei Zahlen". Sie kann mehr „Lupen" aktivieren, um die zusätzlichen Zahlen zu bewältigen.
Keine Labels erforderlich: Die KI brauchte keinen Menschen, der die Zahlen in Kästchen einschließt. Sie hat herausgefunden, wo sich die Objekte befinden, indem sie einfach versucht hat, die endgültige Antwort zu erfüllen.
Besser als „Big Brain"-Modelle: Die Autoren haben ihr System gegen massive, vortrainierte KI-Modelle getestet (wie die, die mit Ihnen chatten). Selbst diese riesigen Modelle hatten Schwierigkeiten mit diesem spezifischen Logikrätsel und lieferten falsche Antworten. DeepObjectLog, das viel kleiner und spezialisierter ist, lag in 90 % der Fälle richtig.

Das Fazit

DeepObjectLog ist wie einem Kind beizubringen, Mathe zu machen, indem man ihm den Lösungsschlüssel zeigt und es die Zahlen selbst herausfinden lässt. Indem es die Fähigkeit, Objekte zu „sehen" (Wahrnehmung), mit der Fähigkeit kombiniert, „die Mathematik zu prüfen" (Logik), lernt die KI, die Welt auf eine Weise zu verstehen, die flexibel, logisch ist und nicht zusammenbricht, wenn sich die Situation ändert.

Die Arbeit zeigt, dass dies bei Aufgaben wie dem Addieren von Zahlen, dem Erkennen von Pokerhänden und dem Zählen von Objekten in komplexen Szenen funktioniert, und beweist, dass KI lernen kann, über Objekte zu „denken", selbst wenn ihr nicht genau gesagt wird, was diese Objekte sind.

Technische Zusammenfassung: Neurosymbolisches objektspezifisches Lernen mit entfernter Überwachung

Problemstellung

Aktuelle neurosymbolische KI-Systeme stehen vor einem kritischen Engpass: Während sie symbolische Regeln effektiv nutzen können, um latente Konzepte aus schwachen Labels zu überwachen, gehen sie typischerweise davon aus, dass die von diesen Regeln referenzierten Entitäten (Objekte) bereits spezifiziert sind. Umgekehrt können objektspezifische Lernmodelle Bilder in slot-artige Repräsentationen zerlegen, scheitern jedoch häufig daran, diese Slots mit den für das symbolische Schließen erforderlichen spezifischen Prädikaten abzugleichen, insbesondere wenn eine Überwachung auf Objektebene (z. B. Masken, Begrenzungsrahmen oder pro-Objekt-Labels) nicht verfügbar ist.

Dieser Artikel adressiert die Herausforderung des objektspezifischen neurosymbolischen Lernens unter entfernter Überwachung. Das Kernproblem wird definiert als das Erlernen eines Modells, bei dem:

Eingabe: Ein Datensatz aus Bild-Label-Paaren $(x, y)$ , wobei Bilder eine unbekannte Anzahl von Objekten enthalten können, aber keine Annotationen für Objektidentität, -position oder -klasse existieren.
Einschränkung: Ein probabilistisches Logikprogramm $L$ wird bereitgestellt, das spezifiziert, wie latente Prädikate auf Objektebene (z. B. Objektexistenz und Klasse) das globale Label $y$ bestimmen.
Ziel: Ein neurosymbolisches Modell zu erlernen, das die objektspezifische Struktur (welche Bildteile Objekte sind und was sie sind) direkt aus dem globalen Aufgabenlabel ableitet, wodurch die symbolische Schicht die wahrnehmende Schicht ohne explizite Überwachung auf Objektebene einschränken kann.

Methodik: DeepObjectLog

Die Autoren schlagen DeepObjectLog vor, eine probabilistische neurosymbolische Architektur, die einen slot-basierten wahrnehmenden Encoder mit einer probabilistischen Logikschicht integriert. Das Modell wird end-to-end unter Verwendung eines Maximum-A-Posteriori-Ziels (MAP) mit amortisierter Inferenz trainiert.

1. Probabilistisches Graphisches Modell

Das Modell definiert eine gemeinsame Verteilung über das Bild $x$ , das Aufgabenlabel $y$ und latente Variablen, einschließlich der Szenenrepräsentation $z$ , Slot-Repräsentationen $s$ , Objektexistenz-Wahrscheinlichkeiten $\beta$ , Objektexistenz-Flags $o$ und Klassenlabels $c$ .

Encoder: Ein Slot-Attention-Mechanismus extrahiert bis zu $N$ latente Slot-Repräsentationen $s_i$ aus dem Bild.
Objektdetektor & Klassifikator: Für jeden Slot sagt das Modell voraus:
- Eine Objektexistenz-Wahrscheinlichkeit $\beta_i \in [0, 1]$ , die die Unsicherheit darstellt, dass der Slot einem bedeutungsvollen Objekt entspricht.
- Eine Klassenverteilung $p(c_i | s_i, \beta_i)$ , bedingt durch die Objektexistenz.
- Die Objektexistenz-Flag $o_i$ wird als Bernoulli-Variable mit dem Parameter $\beta_i$ modelliert.
Weiche Maskierung: Um den Einfluss von Hintergrund oder zufälligen Slots zu reduzieren, wird die Slot-Repräsentation elementweise mit ihrem Objektexistenz-Score $\beta_i$ multipliziert, bevor sie an den Klassifikator und Decoder weitergegeben wird.

2. Probabilistisches Logisches Schließen

Die symbolische Komponente nutzt ProbLog, ein Framework für probabilistische Logikprogrammierung.

Probabilistische Fakten: Die Objektexistenz-Flags $o_i$ und Klassenzuweisungen $c_i$ werden als probabilistische Fakten behandelt (z. B. $p::object(i)$).
Regeln: Logische Regeln definieren, wie diese Fakten kombiniert werden, um das Aufgabenlabel $y$ zu bestimmen (z. B. $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ ist } Y1 + Y2$ ).
Marginalisierung: Die Likelihood des beobachteten Labels $y$ wird durch Marginalisierung über alle möglichen Objektexistenz- und Klassenzuweisungen berechnet. Dies ermöglicht dem System, ein differenzierbares lernsignal auf Aufgabenebene zu berechnen, ohne diskrete Stichprobenziehung oder heuristische Set-Matching-Verluste (wie den Hungarian-Loss) zu benötigen.

3. Lernziel

Das Trainingsziel maximiert die gemeinsame Wahrscheinlichkeit der beobachteten Daten und einer latenten Erklärung $z$ :
$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$
Wobei:

Der erste Term die inferierte objektspezifische Repräsentation dazu anregt, das symbolische Aufgabenlabel zu erklären.
Der zweite Term (Rekonstruktionsverlust) sicherstellt, dass die Repräsentation das Eingabebild rekonstruieren kann.
Der dritte Term eine Priori-Verteilung über die amortisierte latente Erklärung darstellt.
$q_\phi$ ein neuronaler Encoder ist, der die latente Erklärung $z$ approximiert und die Notwendigkeit einer inneren Optimierungsschleife pro Trainingsbeispiel vermeidet.

Hauptbeiträge

Formulierung: Der Artikel formuliert das Problem des objektspezifischen neurosymbolischen Lernens aus entfernter Überwachung, bei dem Objekte aus der Wahrnehmung abgeleitet werden müssen, anstatt als strukturierte Eingaben bereitgestellt zu werden.
Probabilistische Schnittstelle: Es wird eine differenzierbare Schnittstelle zwischen Slots und Logik eingeführt, bei der Objektexistenz- und Klassenvariablen durch probabilistische Inferenz marginalisiert werden. Dies eliminiert die Notwendigkeit von Objektannotationen, diskreter Stichprobenziehung oder Set-Matching-Verlusten.
DeepObjectLog-Architektur: Die Autoren setzen diese Formulierung in DeepObjectLog um und zeigen, dass logisches Feedback die aufgabenrelevante Nutzung objektspezifischer Repräsentationen verbessert und eine stärkere relationale Generalisierung unterstützt.

Experimentelle Ergebnisse

Das Modell wurde an vier Benchmarks evaluiert: MultiMNIST-Addition, PokerRules, CLEVR-Addition und COCOLogic.

Kompositionelle Generalisierung: Auf MultiMNIST-Addition erreichte DeepObjectLog eine Genauigkeit von 90,00 % bei Out-of-Distribution (OOD)-Kompositionen (ungesehene Ziffernkombinationen) und übertraf damit deutlich neuronale Baselines (z. B. Slot Attention bei 13,30 %) sowie eine Standard-neurosymbolische Basis ohne objektspezifische Wahrnehmung (35,76 %).
Aufgaben-Generalisierung: In der PokerRules-Aufgabe erreichte das Modell eine Genauigkeit von 72,23 % bei OOD-Klassen (z. B. „Dreierpasch", die im Training nicht gesehen wurden), während die neurosymbolische Basis versagte (0,46 %). Neuronale Baselines konnten sich nicht auf neue Klassen verallgemeinern, da ihre Ausgabesräume durch Trainingslabels festgelegt waren.
Generalisierung der Objektanzahl: Das Modell zeigte eine robuste Extrapolation auf Bilder mit mehr Objekten als während des Trainings gesehen (z. B. 4–5 Ziffern in MultiMNIST) und behielt eine hohe Genauigkeit bei, während Konkurrenten signifikant nachließen.
Stärke des Lernsignals: Auf COCOLogic erreichte DeepObjectLog eine nicht-triviale Konzeptgenauigkeit mit 0 % Überwachung auf Objektebene und demonstrierte damit seine Fähigkeit, Objektstrukturen rein aus dem Aufgabensignal zu erlernen. Diese Leistung blieb erhalten, selbst wenn die Überwachungslevel erhöht wurden.
Vergleich mit VLMs: Bei der OOD-Aufgabe MultiMNIST-Addition übertraf DeepObjectLog (90 % Genauigkeit) große Vision-Language-Modelle (LLaVA-1.5 und Qwen2.5-VL) deutlich, die Schwierigkeiten hatten, die Aufgabe unter Zero-Shot-Prompting zuverlässig zu lösen.

Bedeutung und Behauptungen

Der Artikel behauptet, dass DeepObjectLog einen bedeutenden Schritt hin zu allgemeineren neurosymbolischen Systemen darstellt, indem es die Lücke zwischen der Entdeckung wahrnehmbarer Objekte und dem symbolischen Schließen überbrückt. Seine primäre Bedeutung liegt in:

Relationale Generalisierung: Die Fähigkeit, Schließen unter Verteilungsverschiebungen zu unterstützen, einschließlich neuer Objektkompositionen, unterschiedlicher Objektanzahlen und neuer symbolischer Abfragen über gelernte Vokabulare.
Robustheit ohne Überwachung: Die Fähigkeit, bedeutungsvolle objektspezifische Strukturen zu erlernen und über sie zu schließen, ohne explizite Überwachung auf Objektebene (Masken oder Begrenzungsrahmen) zu benötigen, sondern sich ausschließlich auf globale Aufgabenlabels und symbolische Regeln zu verlassen.
Interpretierbarkeit: Das Modell liefert interpretierbare Vorhersagen auf Objektebene (Objektexistenz und Klasse), die mit dem symbolischen Schließprozess übereinstimmen und Garantien bieten, die rein neuronalen Ansätzen fehlen.

Die Autoren erkennen Einschränkungen an, darunter die Rechenkosten der exakten Inferenz in der probabilistischen Logik (wobei diese durch Optimierungsframeworks gemildert werden) und das Potenzial für Schließ-Abkürzungen in schwach überwachten Szenarien, die ihre strukturellen Einschränkungen zu unterdrücken versuchen. Sie schließen, dass die zwar robuste und interpretierbare KI voranbringt, zukünftige Einsätze jedoch Risiken im Zusammenhang mit Verzerrungen und Dual-Use-Überwachung berücksichtigen müssen.