💻 computer science

Neurosymbolic Object-Centric Learning with Distant Supervision

Het artikel introduceert DeepObjectLog, een probabilistisch neurosymbolisch model dat objectgerichte representaties direct leert uit globale taaklabels via distant supervision, waardoor superieure generalisatie buiten de trainingsverdeling op visuele redeneertaken mogelijk wordt zonder per-object annotaties.

Oorspronkelijke auteurs: Stefano Colamonaco, David Debot, Giuseppe Marra

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stefano Colamonaco, David Debot, Giuseppe Marra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een wiskundig probleem op te lossen, maar je laat hem alleen het eindantwoord zien, niet de stappen of de individuele cijfers.

Bijvoorbeeld: je laat de robot een foto zien waarop een "3" en een "4" zijn gekrabbeld, en je zegt tegen hem: "Het antwoord is 7." Je vertelt de robot niet waar de 3 staat, waar het 4 staat, of zelfs hoeveel cijfers er op de foto staan. Je geeft gewoon de foto en de uiteindelijke som.

Dit is de uitdaging waar het artikel zich op richt. De meeste AI-modellen zijn als leerlingen die het antwoordblad uit hun hoofd hebben geleerd, maar eigenlijk geen wiskunde kunnen doen als de cijfers veranderen. Ze hebben moeite wanneer de foto een ander aantal items bevat of een nieuwe combinatie van objecten.

Het Probleem: De "Black Box" versus het "Logische Raadsel"

Huidige AI valt in twee kampen, beide met gebreken:

Pure Neurale Netwerken (De Black Box): Deze zijn geweldig in het herkennen van patronen, maar slecht in redeneren. Als je ze traint om twee getallen op te tellen, kunnen ze leren om de vorm van de som "7" te herkennen in plaats van daadwerkelijk 3 + 4 op te tellen. Als je ze 4 + 3 laat zien, raken ze misschien in de war omdat het patroon er iets anders uitziet.
Neurosymbolische AI (Het Logische Raadsel): Deze modellen gebruiken strikte logische regels (zoals "Als A + B = C"). Ze zijn geweldig in redeneren, maar ze hebben meestal een mens nodig om hen eerst precies te vertellen waar de objecten zich bevinden. Ze kunnen niet naar een rommelige foto kijken en zeggen: "Ah, daar is een 3 en daar een 4." Ze hebben de objecten vooraf gesneden en aangeleverd nodig.

De Oplossing: DeepObjectLog (De Detective)

De auteurs hebben een nieuw systeem ontwikkeld dat DeepObjectLog heet. Denk hierbij aan een detective die leert een mysterie op te lossen door naar de misdaadplek en het uiteindelijke vonnis te kijken, zonder dat hem wordt verteld wie de verdachten zijn.

Hier is hoe het werkt, met een eenvoudige analogie:

1. Het "Slot"-systeem (De vergrootglas van de detective)
Stel je voor dat de AI een set onzichtbare "slots" of vergrootglazen heeft die hij overal op een afbeelding kan plaatsen. Hij weet niet hoeveel objecten er zijn, dus spreidt hij bijvoorbeeld 5 vergrootglazen uit.

Sommige glazen landen op een "3".
Sommige landen op een "4".
Sommige landen op lege achtergrondruimte.

2. De "Objectheid"-vraag (Is het een verdachte?)
Voor elk vergrootglas vraagt de AI zich af: "Is dit eigenlijk een object, of gewoon achtergrondruis?"

Als het achtergrond is, zegt de AI: "Negeer deze."
Als het een object is, zegt hij: "Dit is een verdachte!" en probeert te raden wat het is (bijvoorbeeld: "Dit lijkt op een 3").

3. De "Logische Laag" (De rechter)
Dit is het magische deel. De AI neemt al zijn gissingen ("Verdachte A is een 3, Verdachte B is een 4, Verdachte C is niets") en voert ze uit via een strikt logisch programma (zoals een wiskunderegelsboek).

Het regelsboek zegt: "Als je de nummers van de echte verdachten optelt, moet het resultaat overeenkomen met het uiteindelijke antwoord dat we kregen (7)."
Als de AI verkeerd heeft geraden (bijvoorbeeld: hij dacht dat de achtergrond een 5 was), klopt de wiskunde niet met 7. De logische laag zegt: "Dat geeft geen zin," en stuurt een signaal terug naar de detective om van gedachten te veranderen.

4. Leren van de fout
Herhaaldelijk past de AI zijn vergrootglazen aan. Hij leert dat wanneer het eindantwoord 7 is, hij moet zoeken naar een 3 en een 4. Hij leert de achtergrondruis te negeren, omdat het meenemen ervan de wiskunde verstoort.

Waarom dit een groot ding is

Het artikel beweert dat deze aanpak superieur is omdat het structuur leert in plaats van alleen uit het hoofd leren.

Generalisatie (De "Nieuwe Raadsel"-test): Als je de AI traint op afbeeldingen met 2 of 3 cijfers, en hem vervolgens een afbeelding met 5 cijfers laat zien, kan hij het nog steeds oplossen. Waarom? Omdat hij de regel van optellen heeft geleerd, niet alleen het patroon van "twee cijfers". Hij kan meer "vergrootglazen" activeren om de extra cijfers te verwerken.
Geen labels nodig: De AI had geen mens nodig om kaders om de cijfers te tekenen. Hij kwam er zelf achter waar de objecten waren door gewoon te proberen het eindantwoord te bevredigen.
Beter dan "Grote Brein"-modellen: De auteurs hebben hun systeem getest tegen enorme, vooraf getrainde AI-modellen (zoals die waarmee je kunt chatten). Zelfs die enorme modellen hadden moeite met dit specifieke logische raadsel en gaven de verkeerde antwoorden. DeepObjectLog, dat veel kleiner en gespecialiseerd is, kreeg het 90% van de tijd goed.

De Conclusie

DeepObjectLog is als een kind wiskunde leren door hem het antwoordblad te laten zien en hem de cijfers zelf te laten uitzoeken. Door het vermogen om objecten te "zien" (perceptie) te combineren met het vermogen om "de wiskunde te controleren" (logica), leert de AI de wereld op een manier te begrijpen die flexibel, logisch is en niet kapotgaat wanneer de situatie verandert.

Het artikel toont aan dat dit werkt bij taken zoals het optellen van getallen, het herkennen van pokerhanden en het tellen van objecten in complexe scènes, wat bewijst dat AI kan leren om na te denken over objecten, zelfs wanneer het niet precies wordt verteld wat die objecten zijn.

Technische Samenvatting: Neurosymbolisch Object-gericht Leren met Vervreemd Toezicht

Probleemstelling

Huidige neurosymbolische AI-systemen kampen met een kritieke knelpunt: terwijl ze symbolische regels effectief kunnen gebruiken om latente concepten te toezien vanuit zwakke labels, gaan ze er doorgaans van uit dat de entiteiten (objecten) waarnaar deze regels verwijzen reeds gespecificeerd zijn. Omgekeerd kunnen object-gerichte leermodellen afbeeldingen ontleden in slot-achtige representaties, maar slagen ze er vaak niet in deze slots af te stemmen op de specifieke predicaten die nodig zijn voor symbolisch redeneren, vooral wanneer object-niveau toezicht (bijvoorbeeld maskers, binnenvlakken of per-object labels) niet beschikbaar is.

Dit artikel adresseert de uitdaging van object-gericht neurosymbolisch leren onder vervreemd toezicht. Het kernprobleem wordt gedefinieerd als het leren van een model waarbij:

Input: Een dataset van afbeelding-labelparen $(x, y)$ waarbij afbeeldingen een onbekend aantal objecten kunnen bevatten, maar er geen annotaties bestaan voor objectidentiteit, locatie of klasse.
Beperking: Een probabilistisch logisch programma $L$ wordt verstrekt, dat specificeert hoe latente object-niveau predicaten (bijvoorbeeld objectheid en klasse) het globale label $y$ bepalen.
Doel: Het leren van een neurosymbolisch model dat de object-gerichte structuur (welke delen van de afbeelding objecten zijn en wat ze zijn) direct infereert vanuit het globale taaklabel, waardoor de symbolische laag de perceptuele laag kan beperken zonder expliciet object-niveau toezicht.

Methodologie: DeepObjectLog

De auteurs stellen DeepObjectLog voor, een probabilistische neurosymbolische architectuur die een slot-gebaseerde perceptuele encoder integreert met een probabilistische logische laag. Het model wordt end-to-end getraind met een Maximum A Posteriori (MAP) doelstelling met geamortiseerde inferentie.

1. Probabilistisch Grafisch Model

Het model definieert een gezamenlijke verdeling over de afbeelding $x$ , het taaklabel $y$ , en latente variabelen waaronder scene-representatie $z$ , slot-representaties $s$ , objectheidskansen $\beta$ , objectheidsvlaggen $o$ en klasselabels $c$ .

Encoder: Een Slot Attention-mechanisme haalt tot $N$ latente slot-representaties $s_i$ uit de afbeelding.
Objectdetector & Classificator: Voor elke slot voorspelt het model:
- Een objectheidskans $\beta_i \in [0, 1]$ , die de onzekerheid vertegenwoordigt dat de slot overeenkomt met een betekenisvol object.
- Een klassedistributie $p(c_i | s_i, \beta_i)$ , geconditioneerd op de objectheid.
- De objectheidsvlag $o_i$ wordt gemodelleerd als een Bernoulli-variabele met parameter $\beta_i$ .
Zachte Maskering: Om de invloed van achtergrond of toevallige slots te verminderen, wordt de slot-representatie elementsgewijs vermenigvuldigd met zijn objectheidscore $\beta_i$ voordat deze naar de classificator en decoder wordt doorgegeven.

2. Probabilistisch Logisch Redeneren

Het symbolische component maakt gebruik van ProbLog, een probabilistisch logisch programmeerframework.

Probabilistische Feiten: De objectheidsvlaggen $o_i$ en klassetoewijzingen $c_i$ worden behandeld als probabilistische feiten (bijvoorbeeld $p::object(i)$).
Regels: Logische regels definiëren hoe deze feiten combineren om het taaklabel $y$ te bepalen (bijvoorbeeld $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$ ).
Marginalisatie: De waarschijnlijkheid van het waargenomen label $y$ wordt berekend door te marginaliseren over alle mogelijke objectheids- en klassetoewijzingen. Dit stelt het systeem in staat een differentieerbaar taakniveau-leersignaal te berekenen zonder discrete steekproeven of heuristische set-matchingsverliezen (zoals Hongaars verlies) te vereisen.

3. Leerdoelstelling

De trainingsdoelstelling maximaliseert de gezamenlijke waarschijnlijkheid van de waargenomen data en een latente verklaring $z$ :
$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$
Waarbij:

De eerste term de afgeleide object-gerichte representatie aanmoedigt om het symbolische taaklabel te verklaren.
De tweede term (reconstructieverlies) ervoor zorgt dat de representatie de invoerafbeelding kan reconstrueren.
De derde term een prior is op de geamortiseerde latente verklaring.
$q_\phi$ een neurale encoder is die de latente verklaring $z$ benadert, waardoor de noodzaak voor een innerlijke optimalisatielus per trainingsvoorbeeld wordt vermeden.

Belangrijkste Bijdragen

Formulering: Het artikel formuleert het probleem van object-gericht neurosymbolisch leren vanuit vervreemd toezicht, waarbij objecten moeten worden afgeleid uit perceptie in plaats van als gestructureerde inputs worden verstrekt.
Probabilistische Interface: Het introduceert een differentieerbare interface tussen slots en logica waarbij objectheids- en klassenvariabelen worden gemarginaliseerd via probabilistische inferentie. Dit elimineert de noodzaak voor objectannotaties, discrete steekproeven of set-matchingsverliezen.
DeepObjectLog Architectuur: De auteurs instantiëren deze formulering in DeepObjectLog en tonen aan dat logische feedback het taakrelevante gebruik van object-gerichte representaties verbetert, wat sterkere relationele generalisatie ondersteunt.

Experimentele Resultaten

Het model werd geëvalueerd op vier benchmarks: MultiMNIST-Addition, PokerRules, CLEVR-Addition en COCOLogic.

Compositional Generalisatie: Op MultiMNIST-Addition bereikte DeepObjectLog 90,00% nauwkeurigheid op out-of-distribution (OOD) composities (ongezien cijfercombinaties), wat significant beter presteerde dan neurale baselines (bijvoorbeeld Slot Attention op 13,30%) en een standaard neurosymbolische baseline zonder object-gerichte perceptie (35,76%).
Taakgeneralisatie: In de PokerRules-taak bereikte het model 72,23% nauwkeurigheid op OOD-classes (bijvoorbeeld "three of a kind" niet gezien tijdens training), terwijl de neurosymbolische baseline faalde (0,46%). Neuronale baselines konden niet generaliseren naar nieuwe classes omdat hun outputruimtes vaststonden door trainingslabels.
Objectaantal Generalisatie: Het model toonde robuuste extrapolatie naar afbeeldingen met meer objecten dan gezien tijdens training (bijvoorbeeld 4-5 cijfers in MultiMNIST), waarbij het hoge nauwkeurigheid behield terwijl concurrenten significant degradeerden.
Sterkte van Leersignaal: Op COCOLogic bereikte DeepObjectLog niet-triviale conceptnauwkeurigheid met 0% object-niveau toezicht, wat zijn vermogen demonstreert om objectstructuur puur vanuit het taaksignaal te leren. Deze prestatie bleef behouden zelfs naarmate toezichtniveaus toenamen.
Vergelijking met VLM's: Op de MultiMNIST-Addition OOD-taak presteerde DeepObjectLog (90% nauwkeurigheid) significant beter dan grote Vision-Language Modellen (LLaVA-1.5 en Qwen2.5-VL), die worstelden om de taak betrouwbaar op te lossen onder zero-shot prompting.

Betekenis en Claims

Het artikel claimt dat DeepObjectLog een significante stap voorwaarts is naar meer algemene neurosymbolische systemen door de kloof te overbruggen tussen perceptuele objectontdekking en symbolisch redeneren. De primaire betekenis ligt in:

Relationele Generalisatie: Het vermogen om redenering te ondersteunen onder distributieveranderingen, inclusief nieuwe objectcomposities, verschillende objectaantallen en nieuwe symbolische queries over geleerde vocabulaires.
Robuustheid zonder Toezicht: Het vermogen om betekenisvolle object-gerichte structuren te leren en daarover te redeneren zonder expliciet object-niveau toezicht (maskers of binnenvlakken) te vereisen, uitsluitend vertrouwend op globale taaklabels en symbolische regels.
Interpreteerbaarheid: Het model biedt interpreteerbare object-niveau voorspellingen (objectheid en klasse) die aligneren met het symbolische redeneerproces, en biedt garanties die zuiver neurale benaderingen missen.

De auteurs erkennen beperkingen, waaronder de rekenkosten van exacte inferentie in probabilistische logica (hoewel gematigd door optimalisatieframeworks) en het potentieel voor redeneerkortsluitingen in zwak toezichtsettings, waarvan hun structurele beperkingen bedoeld zijn om af te schrikken. Zij concluderen dat hoewel de aanpak robuust en interpreteerbaar AI vooruitbrengt, toekomstige implementaties risico's moeten overwegen die gerelateerd zijn aan bias en dubbelgebruik voor surveillance.