Seeing Is Not Deciding: Can Multimodal LLMs Act as Effective CEOs?

Stel je voor dat je de kapitein bent van een enorm ruimteschip, maar in plaats van te sturen met één enkele joystick, heb je een bedieningspaneel dat tegen je praat in woorden en je duizend verschillende schermen met gegevens laat zien. Dit is de wereld van Artificial Intelligence (Kunstmatige Intelligentie), specifiek een type genaamd Large Language Models (LLM's). Beschouw deze modellen als superintelligente robots die bijna elk boek op aarde hebben gelezen; ze zijn geweldig in het begrijpen van verhalen, het oplossen van wiskundige problemen en zelfs het schrijven van computercode. Onlangs gaven wetenschappers ze "ogen", waardoor ze Multimodale LLM's werden. Nu kunnen deze robots ook naar plaatjes, grafieken en diagrammen kijken, en niet alleen tekst lezen. De grote vraag die iedereen zich stelt is: als we deze AI-robots de baan van een CEO geven — het maken van enorme, beslissingen met hoge inzet — helpen hun "ogen" hen dan om de waarheid te zien, of zorgt de extra informatie alleen maar voor verwarring? Het is een beetje alsof je vraagt of een chef-kok die plotseling de ingrediënten kan ruiken, een betere taart zal maken, of dat de geur hem juist afleidt van het volgen van het recept.

In een nieuwe studie genaamd C-SUITEBENCH besloten onderzoekers negen van de slimste AI-modellen ter wereld in de stoel van een Chief Executive Officer (CEO) te zetten. Ze vroegen de robots niet alleen om een rapport te lezen; ze gaven ze een "situatierapport" (tekst) en koppelden dat aan een dashboard met kleurrijke grafieken, financiële diagrammen en prestatie-indicatoren (afbeeldingen). Het doel was om te zien of het zien van de gegevens de AI hielp om betere keuzes te maken dan wanneer ze alleen de tekst zouden lezen. De onderzoekers testten de AI op vijf verschillende soorten executieve taken: het diagnosticeren van wat er mis is met een bedrijf, het rangschikken van welke aanwijzingen het belangrijkst zijn, het uitzoeken hoe ze een beperkt budget moeten besteden, het voorspellen van toekomstige risico's en het uitleggen van hun beslissingen aan een raad van bestuur.

De resultaten waren een mix van "wow" en "wacht eens even". Wanneer het kwam op het diagnosticeren van problemen of het voorspellen van risico's, waren de AI-modellen met ogen fantastisch. Het bekijken van de grafieken hielp hen om trends te spotten en de verbanden te leggen veel beter dan wanneer ze alleen de tekst lazen. Bijvoorbeeld, wanneer gevraagd werd om risico's te voorspellen, verbeterden de modellen die de grafieken konden zien hun scores met een aanzienlijke marge (tot +0,37 voor sommige modellen). Het was alsof de visuele gegevens hen een superkracht gaven om het "verhaal" achter de cijfers te begrijpen.

Echter, de studie onthulde een vreemd en lastig probleem, dat de auteurs de "multimodale integratieparadox" noemen. Wanneer de AI een beslissing moest nemen over een beperkte middelenallocatie — wat betekent dat ze een beperkt budget moesten verdelen over verschillende afdelingen terwijl ze zich aan strikte wiskundige regels moesten houden — maakten de extra visuele informatie hen juist slechter. Hoewel de modellen de grafieken perfect konden "zien", zorgde het toevoegen van de afbeeldingen ervoor dat hun besluitvormingsscores daalden (met ongeveer -0,08 gemiddeld). Het is als een chef-kok die de kruiden perfect kan ruiken, maar wanneer hij probeert ze af te meten voor een recept, per ongeluk de hele pot omstoot omdat er te veel geuren tegelijk waren.

De onderzoekers groeven dieper om uit te zoeken waarom dit gebeurde. Ze ontdekten dat het probleem niet was dat de AI de grafieken niet kon zien; sterker nog, de modellen waren erg goed in het opmerken van de visuele aanwijzingen. Het probleem was "signaaloverbezetting" (signal crowding). Wanneer de AI tegelijkertijd de tekst, de cijfers en drie verschillende soorten grafieken moest verwerken, zorgde de enorme hoeveelheid informatie ervoor dat ze overweldigd raakten in hun vermogen om de strikte regels van het budget te volgen. Het bleek dat als je de AI slechts één type grafiek gaf (zoals alleen de financiële cijfers), het beter deed dan wanneer je de AI alle grafieken tegelijk gaf. De combinatie van alle visuele signalen creëerde een "verkeersopstopping" in het brein van de AI, waardoor het de harde beperkingen van het budget vergat.

Dus, wat betekent dit voor de toekomst? De studie suggereert dat het geven van meer ogen en meer gegevens aan AI niet altijd de oplossing is. Voor taken die vereisen dat je patronen ontdekt of een verhaal vertelt, zijn beelden een enorme hulp. Maar voor taken die strikte, op regels gebaseerde acties vereisen — zoals het bijhouden van een kasboek of het verdelen van een vast budget — kan te veel visuele ruis het systeem daadwerkelijk verstoren. De onderzoekers concluderen dat de echte uitdaging voor toekomstige AI niet alleen is om beter te zien, maar om te leren hoe ze de ruis kunnen negeren en zich op de juiste aanwijzingen kunnen concentreren wanneer de druk hoog is. Ze hopen dat hun nieuwe test, C-SUITEBENCH, zal helpen bij het bouwen van slimmere AI-CEO's die weten wanneer ze naar de grafieken moeten kijken en wanneer ze gewoon bij de cijfers moeten blijven.