GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

Sommige beelden blijven in het geheugen hangen, terwijl andere bijna onmiddellijk vervagen. Deze kwaliteit, bekend als memorabiliteit, gaat niet simpelweg over hoe mooi een afbeelding is of hoeveel iemand er een voorkeur voor heeft. In plaats daarvan is het een meetbare eigenschap van de afbeelding zelf, een eigenschap die bepaalt hoe waarschijnlijk het is dat een persoon die specifieke scène herinnert nadat hij deze één keer heeft gezien. Onderzoekers weten al lang dat de menselijke intuïtie slecht is in het raden welke afbeeldingen onthouden zullen worden; we nemen vaak aan dat een opvallend gezicht of een felle kleur een afbeelding memorabel zal maken, om er vervolgens achter te komen dat een alledaagse scène met een specifieke arrangement van objecten juist degene is die blijft hangen. Om dit fenomeen te begrijpen, hebben wetenschappers zich tot computers gekeerd en modellen gebouwd die proberen deze scores te voorspellen door de visuele ingrediënten van een foto te analyseren. Vroege pogingen vertrouwden op eenvoudige metingen van kleur en vorm, maar deze misten vaak de diepere context die een afbeelding memorabel maakt. Recentere inspanningen hebben complexe kunstmatige intelligentie gebruikt om naar objecten en hun relaties te kijken, maar veel van deze systemen negeren nog steeds de subtiele, hoogfrequente details van een scène of de manier waarop een menselijk oog een afbeelding natuurlijk scant.

Een team van onderzoekers heeft nu een nieuwe aanpak voorgesteld die verschillende manieren van een afbeelding bekijken combineert om dit puzzelstuk op te lossen. Hun werk, genaamd GRAFF-MM, werkt vanuit het idee dat geen enkele methode alles kan vangen wat een afbeelding memorabel maakt. In plaats daarvan combineert het model drie verschillende stromen informatie: de ruimtelijke lay-out van objecten, de gebieden waar het menselijk oog het meest waarschijnlijk op focust, en de beschrijvende taal die uitlegt wat er in de scène gebeurt. Om de ruimtelijke lay-out te verwerken, bouwden de onderzoekers een systeem dat een afbeelding behandelt als een kaart van verbonden punten, waarbij elk punt een object vertegenwoordigt en de lijnen tussen hen laten zien hoe die objecten met elkaar in relatie staan. Cruciaal is dat ze dit systeem verbeterden door het te leren aandacht te besteden aan zowel de brede, vloeiende patronen van de scène als aan de scherpe, gedetailleerde randen die vaak iets ongewoons of belangrijks signaleren. Deze dubbele focus stelt de computer in staat om niet alleen te zien dat er een motorfiets op een weg staat, maar dat de motorfiets scherp in een bocht hangt, een detail dat de sleutel kan zijn tot waarom de afbeelding wordt onthouden.

De onderzoekers testten dit nieuwe model tegen vier verschillende collecties afbeeldingen, variërend van duizenden diverse foto's tot kleinere sets gericht op specifieke objecten. In elk geval presteerde het nieuwe model beter dan eerdere methoden, waarbij het een nauwkeurigheidsniveau bereikte dat nauw aansluit bij hoe mensen het eens zijn over welke afbeeldingen memorabel zijn. Op een belangrijke dataset bereikte het model een score van 0,692, en op een andere bereikte het 0,711, cijfers die wijzen op een sterke overeenkomst met het menselijk geheugen. De studie omvatte ook een gedetailleerde blik op waarom het model werkt, waarbij werd aangetoond dat het verwijderen van een van de drie hoofdonderdelen — de ruimtelijke kaart, de eye-tracking gids of de tekstbeschrijving — de prestaties deed dalen. Dit bevestigt dat elk onderdeel iets unieks toevoegt: de tekst levert het verhaal, de eye-tracking gids laat zien waar de actie is, en de ruimtelijke kaart onthult de structuur.

Een van de meest significante bevindingen is dat het vermogen van het model om hoogfrequente details te detecteren — die snelle, scherpe veranderingen in de afbeelding die eerdere systemen vaak gladstreek — essentieel was voor het succes. Door de visuele data te filteren om zowel het grote plaatje als de fijne details te behouden, kon het model de ongebruikelijke arrangementen of specifieke handelingen opsporen die een afbeelding laten opvallen. De onderzoekers visualiseerden ook hoe het model leerde, waarbij zij lieten zien dat naarmate het deze verschillende soorten informatie combineerde, de geanalyseerde afbeeldingen duidelijker bij elkaar gingen groeperen op basis van hoe memorabel ze waren. Hoewel het model niet perfect is en soms worstelt met wazige afbeeldingen of te complexe scènes, vertegenwoordigt het een belangrijke stap voorwaarts in het begrijpen van hoe computers kunnen leren de wereld te zien zoals het menselijk geheugen dat doet. Het werk suggereert dat om echt te voorspellen wat we zullen onthouden, we een afbeelding niet alleen moeten bekijken als een verzameling pixels, maar als een verhaal dat wordt verteld door ruimte, aandacht en taal.