Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures
Dit artikel introduceert de "render ceiling", een modelvrije benchmarkmethode die gebruikmaakt van geïnverteerde camerarendering van bekende kristalstructuren om visuele perceptiefafwijkingen definitief te scheiden van redeneerfouten in vision-language modellen, waarbij wordt onthuld dat veel modellen moeite hebben met geometrische extractie in plaats van logische inferentie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de materiaalkunde besteden onderzoekers hun dagen aan het proberen te begrijpen hoe atomen zichzelf ordenen om de vaste stoffen te vormen die onze wereld opbouwen. Deze arrangementen, bekend als kristalstructuren, worden vaak gevisualiseerd als driedimensionale tekeningen waarbij bollen atomen voorstellen en stokjes de bindingen voorstellen die ze bij elkaar houden. Decennialang hebben wetenschappers op deze afbeeldingen vertrouwd om complexe ruimtelijke relaties te communiceren, maar een nieuwe generatie kunstmatige intelligentie wordt nu gevraagd om ze te lezen. Deze vision-language modellen zijn ontworpen om naar een afbeelding te kijken en vragen erover te beantwoorden, optredend als een brug tussen wat een computer ziet en wat een mens begrijpt. De hoop is dat deze systemen uiteindelijk kunnen helpen bij het ontwerpen van nieuwe materialen door wetenschappelijke figuren te interpreteren zoals een menselijke onderzoeker dat zou doen. Echter, een hardnekkig probleem heeft het echter moeilijk gemaakt om te weten of deze machines echt leren zien of dat ze simpelweg gokken op basis van patronen in de tekst. Wanneer een model een fout maakt, is het bijna onmogelijk te zeggen of het faalde omdat het de afbeelding niet correct kon interpreteren of omdat het faalde om logica te gebruiken om het puzzelstukje op te lossen. Zonder een manier om deze twee vaardigheden te scheiden, kan de wetenschappelijke gemeenschap niet weten waar zij haar inspanningen op moet richten om deze instrumenten te verbeteren.
Een team van onderzoekers heeft nu een nieuwe manier geïntroduceerd om deze modellen te meten die het giswerk volledig omzeilt. In plaats van te vertrouwen op een ander computerprogramma om als rechter op te treden, creëerden zij een systeem gebaseerd op de exacte wiskundige regels die gebruikt worden om de afbeeldingen te tekenen. Ze begonnen met een bekende set kristalstructuren, waarvan de atomaire posities perfect gedefinieerd waren, en gebruikten een standaard camera-opstelling om duizenden afbeeldingen te genereren. Omdat ze precies wisten hoe de camera was gepositioneerd en hoe het originele object eruitzag, konden ze het proces wiskundig omkeren. Door de camerahoeken te inverteren en de posities van de atomen vanuit de verschillende gezichten te herberekenen, konden ze de oorspronkelijke structuur met perfecte precisie herstellen. Dit proces creëerde een "plafond" van perfecte nauwkeurigheid, een benchmark die de absolute maximale hoeveelheid informatie vertegenwoordigt die in de afbeeldingen beschikbaar is. Als de afbeeldingen zelf het antwoord bevatten, bewijst deze methode dat. Als een model het antwoord niet vindt, moet de fout bij het model liggen, en niet bij de afbeelding.
De onderzoekers testten deze methode op meer dan tweeduizend kristalstructuren en controleerden of er geen twee atomen overlapten op een manier die de berekening zou verwarren. Ze ontdekten dat voor elk van deze structuren de wiskundige omkering perfect werkte en telkens de juiste oplossing herstelde. Dit betekende dat het plafond solide was; de afbeeldingen bevatten de volled zullige waarheid. Ze vroegen vervolgens veertien verschillende vision-language modellen om het kristalstelsel van deze zelfde afbeeldingen te identificeren. De resultaten waren onthullend. Hoewel de modellen beter presteerden wanneer ze de exacte atomaire coördinaten als tekst kregen, bleven ze zelfs met die extra hulp ver achter bij de perfecte score. Voor de meeste van de modellen werd de kloof tussen hun prestaties en het perfecte plafond niet veroorzaakt door een onvermogen om de afbeelding te zien. In plaats daarvan gebeurde de meerderheid van hun fouten na het moment dat ze vermeend de afbeelding hadden begrepen, tijdens de redeneerfase. De studie toonde aan dat voor dertien van de veertien modellen de moeilijkheid in hun logica lag, en niet in hun visie.
Om te bewijzen dat de afbeeldingen zelf leesbaar waren, trainden de onderzoekers een eenvoudig computervisiensysteem dat helemaal geen taalvaardigheden had. Dit systeem keek alleen naar de pixels van de afbeeldingen, zonder tekst of chemische kennis. Opmerkelijk genoeg scoorde dit eenvoudige systeem hoger dan elk geteste vision-language model, waarbij het de kristalstructuren in bijna negentig procent van de gevallen correct identificeerde. Deze bevinding suggereert dat de afbeeldingen niet te complex zijn voor een machine om te lezen; eerder worstelen de complexe modellen met het verwerken van de informatie die ze zien. De studie bracht ook een verborgen fout aan het licht in de manier waarop deze systemen werken. Wanneer gevraagd werd om de coördinaten van atomen uit de afbeeldingen te extraheren, produceerde een krachtig model lijsten met cijfers die er perfect geformatteerd uitzagen maar volledig fout waren, en die bijna geen van de werkelijke atomen in de afbeelding maten. In een standaardtest zou dit soort fout als een gebrek aan redenering worden beschouwd, maar deze nieuwe methode toonde aan dat het eigenlijk een falen was om de afbeelding te zien. Het model fabriceerde data, creëerde een valse realiteit die er aan de oppervlakte correct uitzag, maar er inhoudelijk niets onder zat.
De implicaties van dit werk reiken verder dan alleen het beoordelen van testscores. De onderzoekers demonstreerden dat de manier waarop camera's rond een object worden geplaatst belangrijker is dan het aantal camera's dat wordt gebruikt. Ze ontdekten dat een specifieke arrangement van vijf aanzichten voldoende was om ambiguïteit te elimineren, terwijl minder aanzichten ruimte lieten voor fouten. Dit biedt een duidelijke regel voor wetenschappers die benchmarks creëren: de kwaliteit van het beeld is belangrijker dan de kwantiteit. Nog belangrijker is dat de studie een nieuw instrument biedt voor het auditeren van kunstmatige intelligentie in wetenschappelijke workflows. In de toekomst, wanneer deze modellen worden gebruikt om nieuwe materialen te ontwerpen, kan deze methode dienen als een controle om te garanderen dat de tussenstappen van hun redenering gebaseerd zijn op echte data en niet op gehallucineerde cijfers. Door te scheiden wat de machine ziet van hoe zij denkt, hebben de onderzoekers een manier geboden om betrouwbaardere instrumenten voor de wetenschap te bouwen, waardoor gewaarborgd wordt dat wanneer een model beweert een kristal te begrijpen, het deze ook daadwerkelijk ziet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.