Bioinspired CNNs for border completion in occluded images

Dit paper introduceert BorderNet, een op het visuele cortex gebaseerd CNN-architectuur dat de robuustheid tegen beeldocclusies verbetert door bio-geïnspireerde filters voor randcompletie te gebruiken.

De kern

Hier is een uitleg van het onderzoek in simpel, alledaags Nederlands, met behulp van creatieve vergelijkingen.

De Missie: Het Voltooien van Verborgen Puzzelstukken

Stel je voor dat je naar een foto kijkt, maar er ligt een grote, zwarte streep of een rooster over heen. De foto is gedeeltelijk bedekt. Voor een computer is dit vaak een ramp: het ziet alleen fragmenten en raakt in de war. Voor een mens is dit echter geen probleem. Als je een halve auto ziet, weet je direct dat het een auto is, zelfs als de wielen bedekt zijn. Je hersenen "vullen het gat in".

De auteurs van dit paper hebben geprobeerd deze menselijke gave na te bouwen voor computers. Ze hebben een nieuw type computerprogramma (een 'neuraal netwerk') ontworpen dat beter kan kijken door de "verkeersborden" van de hersenen te volgen.

De Inspiratie: De Hersenen als een Speciale Kijker

Waarom kunnen onze hersenen dit zo goed? Het zit in het eerste deel van ons gezichtsvermogen, de visuele cortex (V1).

• De Vergelijking: Stel je voor dat je hersenen een enorm team van kleine bewakingscamera's zijn. Elke camera kijkt alleen naar één specifieke richting. Sommige camera's kijken alleen naar horizontale lijnen, andere naar verticale, en weer anderen naar diagonale lijnen.
• Het Magische: Als een lijn onderbroken wordt (bijvoorbeeld door een streep), "fluisteren" deze camera's naar elkaar. Als een camera een horizontale lijn ziet en de camera ernaast ziet ook een stukje horizontale lijn, zeggen ze: "Hé, dat hoort bij elkaar!" Ze vullen de onderbreking in. Dit heet in de vakwereld randcompletering.

De onderzoekers hebben wiskundige formules gebruikt om precies te beschrijven hoe deze camera's met elkaar praten. Vervolgens hebben ze deze regels vertaald naar een computerprogramma.

Het Oplossing: BorderNet (De "Rand-Netwerk")

De onderzoekers namen een bestaand, standaard computerprogramma genaamd LeNet5. Dit programma is slim, maar het kijkt naar een afbeelding alsof het een wazige foto is zonder te weten hoe lijnen zich gedragen.

Ze bouwden een nieuwe versie, BorderNet, en deden er een speciale "bril" op.

• De Creatieve Analogie: Stel je voor dat je een schilderij bekijkt door een raam met vier speciale ruiten.
  1. Een ruit die alleen horizontale lijnen ziet.
  2. Een ruit die alleen verticale lijnen ziet.
  3. Twee ruiten voor diagonale lijnen.
• Wat doet dit? Voordat het programma de afbeelding überhaupt analyseert, laat het deze "bril" over de afbeelding glijden. Hierdoor ziet het programma niet alleen de pixels, maar ook de richting van de lijnen. Het leert de computer om lijnen te "voelen" en te voorspellen waar ze zouden moeten zijn, zelfs als ze bedekt zijn.

De Test: De "Zwarte Streep" Uitdaging

Om te bewijzen dat hun idee werkt, deden ze een experiment:

1. Ze namen drie bekende verzamelingen afbeeldingen: cijfers (MNIST), kledingstukken (Fashion-MNIST) en meer cijfers (EMNIST).
2. Ze lieten het standaardprogramma (LeNet5) en het nieuwe programma (BorderNet) deze afbeeldingen leren zonder dat er iets overheen zat.
3. Vervolgens gooiden ze de testafbeeldingen onder het stof: ze bedekten de afbeeldingen met zwarte diagonale strepen of met een rasterpatroon (zoals een raamkozijn).

Het Resultaat:
Het standaardprogramma viel bijna volledig uit elkaar zodra de afbeeldingen bedekt waren. Het verloor de draad.
BorderNet daarentegen bleef kalm. Omdat het "wist" hoe lijnen zich gedragen, kon het de onderbroken stukken reconstrueren. Het kon de kleding of het cijfer nog steeds herkennen, zelfs als de helft ervan bedekt was.

Conclusie in Eén Zin

Door de computer te leren kijken zoals onze hersenen doen – door te focussen op de richting van lijnen en die te laten "praten" met elkaar – kunnen we computers veel slimmer maken in het herkennen van objecten, zelfs als ze gedeeltelijk verborgen zijn. Het is alsof je een computer leert om niet alleen naar de stukjes van de puzzel te kijken, maar ook naar de randen die de puzzelstukken met elkaar verbinden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Bioinspired CNNs for border completion in occluded images" in het Nederlands.

Titel: Bio-geïnspireerde CNN's voor randvoltooiing in geoccludeerde afbeeldingen

1. Het Probleem

Visuele informatieverwerking bij zoogdieren staat voor grote uitdagingen wanneer objecten gedeeltelijk worden verduisterd (occlusie), wat de identificatie bemoeilijkt. Een cruciaal vermogen van de visuele cortex (V1) is het reconstrueren van gedeeltelijk verduisterde objecten door onderbroken contouren te "voltooien" op basis van de zichtbare delen. Dit fenomeen, bekend als contour integratie, wordt biologisch ondersteund door horizontale connectiviteit tussen hyperkolommen in V1, waarbij neuronen met collineaire oriëntatievoorkeuren elkaar stimuleren.

Bestaande Convolutionele Neural Networks (CNN's) zijn vaak kwetsbaar voor dergelijke occlusies (zoals strepen of roosters), omdat ze geen ingebouwde mechaniek hebben om deze onderbroken randen te reconstrueren op basis van biologische principes. De auteurs stellen dat het vertalen van deze biologische mechanismen naar een computationeel kader nodig is om de robuustheid van CNN's te verbeteren.

2. Methodologie

De auteurs combineren wiskundige modellering van de visuele cortex met diep leren om een nieuwe CNN-architectuur te ontwikkelen, genaamd BorderNet.

• Wiskundige Modellering (Sub-Riemanniaanse Geometrie):

  • De auteurs modelleren de randvoltooiing in V1 als een probleem van het vinden van sub-Riemanniaanse geodeten op een contactbundel ($E \cong SE(2)$).
  • Ze gebruiken de Hamiltoniaanse formalisme (in plaats van Lagrange) om de kortste paden te berekenen die onderbroken contouren verbinden.
  • De oriëntatiekaart van een afbeelding wordt gedefinieerd via een vectorveld $Z$ dat loodrecht staat op de niveaulijnen van de afbeelding.
  • De oplossing van deze geodetische vergelijkingen correspondeert met de "association fields" (associatievelden) die in de biologie worden waargenomen (zoals beschreven door Hayes en in Figuur 1 van het artikel).

• Architectuur van BorderNet:

  • Het model is gebaseerd op LeNet5, een CNN-architectuur die gelijkenissen vertoont met het vroege visuele pad.
  • Bio-geïnspireerde Filters: In plaats van standaard leerbare filters in de eerste laag, worden vier vooraf gedefinieerde, niet-leerbare convolutiefilters toegevoegd. Deze filters nabootsen de werking van oriëntatie-selectieve receptieve velden.
  • De filters zijn ontworpen met een grootte van $7 \times 7$ pixels en vertegenwoordigen vier specifieke richtingen: horizontaal, verticaal en twee diagonalen.
  • Deze filters imiteren de actie van het vectorveld $Z$ uit de wiskundige modellering, waardoor het netwerk van nature gevoelig wordt voor randen in specifieke richtingen en deze kan integreren.

• Experimenteel Ontwerp:

  • Datasets: MNIST, Fashion-MNIST en EMNIST.
  • Training: Beide modellen (Vanilla LeNet5 en BorderNet) worden uitsluitend getraind op ongeachteerde (originele) afbeeldingen.
  • Testen: De modellen worden getest op afbeeldingen met twee soorten kunstmatige occlusies:
    1. Strepen: Diagonale zwarte strepen met variërende breedte ($w$) en tussenruimte ($s$).
    2. Roosters: Vierkante roosters bestaande uit horizontale en verticale strepen.
  • De parameters $w$ en $s$ variëren van 1 tot 10 om verschillende niveaus van ernst te testen.

3. Belangrijkste Bijdragen

1. Theoretisch Kader: Het toepassen van de Hamiltoniaanse formalisme voor sub-Riemanniaanse geodeten om de biologische randvoltooiing in V1 wiskundig te beschrijven en te vertalen naar CNN-filters.
2. BorderNet Architectuur: De introductie van een CNN met vooraf gedefinieerde, bio-geïnspireerde richtingsfilters die de functie van oriëntatie-selectieve neuronen nabootsen.
3. Robuustheidsonderzoek: Een uitgebreide evaluatie die aantoont dat het trainen op schone data en testen op zwaar geoccludeerde data leidt tot significante prestatiewinsten, zonder dat het model opnieuw getraind hoeft te worden op de geoccludeerde data.

4. Resultaten

De experimenten tonen aan dat BorderNet over het algemeen beter presteert dan de standaard LeNet5, vooral bij ernstige occlusies.

• Prestatieverbetering: BorderNet behaalt een hogere classificatie-accuraatheid op alle drie de datasets (MNIST, Fashion-MNIST, EMNIST) voor zowel strepen- als roosterocclusies.
• Impact van Ernst: De verbetering is het meest opvallend bij zware occlusies (bijvoorbeeld bij een stroombreedte van 10 pixels). In sommige gevallen (zoals EMNIST met roosterocclusie bij $w=10, s=10$) verdubbelt BorderNet de prestatie van LeNet5 (bijv. van 0,170 naar 0,326).
• Uitzonderingen: Bij zeer lichte occlusies is het verschil soms minimaal of zelfs licht negatief, maar bij zware verstoringen is de winst consistent en significant.
• Statistiek: De resultaten zijn gebaseerd op 100 cycli met een vaste random seed, en de verbetering wordt weergegeven als het gemiddelde van bootstrap-medianen met 95% betrouwbaarheidsintervallen.

5. Betekenis en Conclusie

Het artikel bevestigt het concept dat biologische principes van visuele verwerking (specifiek contour integratie via associatievelden) effectief kunnen worden vertaald naar de architectuur van diepe neurale netwerken.

• Robuustheid: Door de wiskundige modellering van V1 te integreren, wordt het netwerk robuuster tegen verduistering zonder dat er extra trainingsdata nodig is.
• Toekomstperspectief: Dit werk opent de weg voor verdere ontwikkeling van bio-geïnspireerde CNN's die beter bestand zijn tegen real-world scenario's waar objecten vaak gedeeltelijk worden verduisterd. Het bewijst dat het begrijpen van de onderliggende wiskunde van de visuele cortex direct kan leiden tot praktische verbeteringen in machine learning-algoritmen.

Kortom, BorderNet demonstreert dat het nabootsen van de biologische mechanismen voor randvoltooiing een krachtige strategie is om de prestaties van beeldherkenningsmodellen te verhogen in onvolmaakte visuele omstandigheden.