Cost-Efficient Multi-Scale Fovea for Semantic-Based Visual Search Attention

Probleemstelling

Moderne diepe objectdetectiemodellen (zoals YOLO en DETR) zijn uitzonderlijk goed in het extraheren van semantische informatie uit complexe visuele scènes, wat essentieel is voor kunstmatige aandachtssystemen. Echter, het verwerken van volledige beelden met hoge resolutie vormt een significant computatief knelpunt, zowel in termen van tijd als geheugen. Dit beperkt de bruikbaarheid van deze systemen voor real-time toepassingen en maakt ze biologisch onwaarschijnlijk, aangezien het menselijk oog niet het volledige gezichtsveld tegelijkertijd met maximale scherpte verwerkt.

Het menselijke visuele systeem maakt gebruik van een fovea (het punt van maximale scherpte) en een perifeer gebied met afnemende resolutie (het "eccentriciteitseffect"). Bestaande kunstmatige aandachtssystemen negeren dit vaak of gebruiken methoden die de objectdetectoren opnieuw moeten trainen, wat kostbaar is. Het doel van dit onderzoek is het ontwikkelen van een kostenefficiënte manier om semantische informatie te extraheren voor visuele zoekopdrachten (waarbij een specifiek doelwit gezocht wordt), zonder de nauwkeurigheid te verliesen en terwijl de biologische plausibiliteit wordt behouden.

Methodologie

De auteurs introduceren een nieuwe Multi-Scale Fovea module die geïntegreerd is in hun bestaande SemBA (Semantic-based Bayesian Attention) framework.

1. Multi-Scale Fovea Mechanisme:

   • In plaats van het hele beeld te verwerken, wordt er een piramide van concentrische gebieden rondom een focuspunt (fixatiepunt) gebouwd.
   • Het systeem bestaat uit $N$ lagen. De binnenste laag ($L_1$) behoudt de originele resolutie (maximale scherpte).
   • De buitenste lagen worden vergroot (bijv. verdubbeld in grootte per laag) en vervolgens downgesampled naar de grootte van de binnenste laag.
   • Dit creëert een exponentiële afname van de pixeldichtheid naar de randen toe, wat de onzekerheid in het perifere zicht nabootst.
   • Belangrijk: Omdat de geometrische eigenschappen van de afbeeldingen behouden blijven (geen log-polaire transformaties of vervormingen), hoeven bestaande, vooraf getrainde objectdetectoren (zoals YOLOv11, DETR) niet opnieuw getraind te worden.

2. SemBA Framework:

   • SemBA is een Bayesiaans probabilistisch framework dat semantische cues van meerdere fixaties cumulatief fuseert.
   • Het gebruikt een Dirichlet-verdeling om "semantische overtuigingen" (beliefs) bij te werken voor elke cel in een rooster van het beeld.
   • Detecties uit de verschillende lagen van de fovea worden teruggemapt naar het originele beeldcoördinatenstelsel en gefuseerd volgens de regel van Kaplan, waarbij onzekerheid wordt meegenomen.
   • Het systeem kiest sequentieel het volgende beste fixatiepunt op basis van de huidige semantische overtuiging, met toepassing van "Inhibition of Return" (IOR) om terugkeren naar eerder bezochte plekken te voorkomen.

3. Experimentele Opstelling:

   • Getest op de COCO-Search18 dataset (target-present visuele zoekopdrachten).
   • Vergelijking met andere kunstmatige fovea-methoden: Laplacian Foveation en FOVEA.
   • Gebruik van verschillende objectdetectoren: YOLOv11, DETR en RT-DETR.
   • Evaluatie via metrics voor scanpath-similairiteit (Sequence Score, Fixation Edit Distance, SemSS, SemFED) en cumulatieve prestaties.

Belangrijkste Bijdragen

• Nieuwe Multi-Scale Fovea: Een kostenefficiënt mechanisme voor semantische visuele aandacht dat een multi-resolutie piramide gebruikt om perifere onzekerheid te simuleren zonder de detector opnieuw te hoeven trainen.
• Integratie in SemBA: Het succesvol toepassen van deze fovea-module in het SemBA-framework voor doelgerichte visuele zoekopdrachten.
• Evaluatie en Ablatie: Uitgebreide vergelijking met state-of-the-art modellen en een ablatiestudie om de impact van de fovea-afmetingen en het aantal lagen te bepalen.
• Computatie-efficiëntie: Het aantonen dat de methode de verwerkingskosten drastisch verlaagt terwijl de nauwkeurigheid behouden blijft of zelfs verbetert.

Resultaten

• Prestaties: SemBA met de Multi-Scale Fovea benadert de menselijke consistentie zeer nauwkeurig, vooral op het gebied van de volgorde van gefixeerde objectcategorieën (semantische similariteit). Het presteert beter dan IVSN (een model dat niet leert van menselijke scanpaths) en benadert de prestaties van modellen die wel op menselijke data getraind zijn.
• Vergelijking met andere Fovea's: De Multi-Scale Fovea overtreft zowel Laplacian Foveation als FOVEA in termen van taakprestaties en semantische nauwkeurigheid.
• Computatiekosten:
  • Voor zware modellen zoals DETR resulteert de Multi-Scale Fovea in een 17,6x snelheidswinst (van 10,37s naar 0,59s per iteratie).
  • Voor lichtere, moderne modellen zoals YOLOv11 is de winst kleiner (van 0,144s naar 0,115s), omdat deze modellen al geoptimaliseerd zijn voor grote inputs.
  • De hoeveelheid te verwerken pixels wordt drastisch gereduceerd (bijv. tot 0,01% bij een kleine configuratie), wat de methode zeer geschikt maakt voor real-time systemen.
• Biologische Plausibiliteit: De configuratie die het beste overeenkomt met de anatomische verhoudingen van het menselijk oog (4 lagen, basisgrootte 160x160 pixels) levert de beste resultaten op en benadert de menselijke scanpaths het dichtst.

Betekenis en Conclusie

Dit paper toont aan dat het nabootsen van de biologische foveale structuur essentieel is voor het creëren van efficiënte en biologisch plausibele kunstmatige aandachtssystemen. De voorgestelde Multi-Scale Fovea lost het probleem van de hoge rekenkosten van objectdetectie op zonder de noodzaak van kostbare hertraining van modellen.

De belangrijkste conclusie is dat overt aandacht (waar men kijkt) en covert aandacht (wat men verwerkt) effectief gemodelleerd kunnen worden binnen één efficiënt framework dat puur leert van visuele prikkels. Dit maakt SemBA met Multi-Scale Fovea een sterke kandidaat voor inzet in bio-geïnspireerde real-time systemen, zoals humanoïde robots, waar zowel snelheid als semantisch inzicht cruciaal zijn.