Deep-layer cortical tracking abruptly collapses in the absence of language comprehension

Het menselijk brein is een meester in geluid, in staat om een chaotische stroom van trillingen te veranderen in een samenhangend verhaal, een duidelijke instructie of een gedeelde grap. Decennialang wisten wetenschappers al dat deze transformatie in stadia plaatsvindt. Eerst vangen het oor en de vroege delen van de hersenen de ruwe fysieke eigenschappen van het geluid op: de toonhoogte, het volume en het ritme. Later nemen andere delen van de hersenen deze geluiden en weven ze samen tot woorden, zinnen en betekenis. Maar precies waar de grens ligt tussen simpelweg een geluid horen en begrijpen wat het zegt, is een mysterie gebleven. Midden in een vloeiend gesprek zijn het fysieke geluid en de betekenis zo nauw met elkaar verweven dat het bijna onmogelijk is om te zeggen waar het ene eindigt en het andere begint. Deze kloof is van belang omdat het zonder te weten waar begrip begint, moeilijk is om te meten of iemand die niet kan spreken of bewegen — bijvoorbeeld door een ernstig letsel — de wereld om zich heen daadwerkelijk begrijpt.

Een team van onderzoekers heeft deze grens nu met ongekende precisie in kaart gebracht, met behulp van een nieuwe methode die het brein behandelt als een complexe machine en het direct vergelijkt met een geavanceerd computermodel. Door naar de elektrische signalen van de hersenen te luisteren terwijl mensen naar natuurlijke spraak luisterden, en deze signalen vervolgens te matchen met de interne werking van een kunstmatige intelligentie die getraind is op taal, ontdekten zij een scherpe scheidslijn. Wanneer een luisteraar de taal begrijpt, weerspiegelt de activiteit van de hersenen de diepe, complexe lagen van het computermodel die met betekenis omgaan. Maar wanneer de luisteraar dezelfde geluiden hoort in een taal die hij niet kent, verdwijnt die diepe verbinding onmiddellijk. De hersenen blijven de basisgeluiden perfect volgen, maar het deel van de hersenen dat verantwoordelijk is voor hogere niveaus van begrip, stopt simpelweg met het volgen van het model. Deze bevinding bepaalt het exacte moment in de verwerkingsketen van de hersenen waarop horen overgaat in begrijpen, wat een duidelijke, niet-invasieve manier biedt om te zien of spraak wordt begrepen, zelfs wanneer de luisteraar dat niet kan uiten.

Om deze grens te vinden, maakten de onderzoekers gebruik van een krachtig instrument: een groot taalmodel ontworpen om audio te verwerken, specifiek een systeem genaamd Qwen2.5-Omni. Dit model is gebouwd als een meerlagige fabriek. De eerste lagen fungeren als een microfoon, waarbij ze de ruwe geluidsgolven afbreken in basiscomponenten zoals frequentie en luidheid. Naarmate de gegevens dieper in het model bewegen, door tientallen daaropvolgende lagen, begint het patronen, woorden en uiteindelijk de complexe relaties tussen ideeën te herkennen. De onderzoekers wilden zien of het menselijk brein ditzelfde pad volgt. Ze namen de hersenactiviteit op van native Engelse sprekers die luisterden naar een Engelse podcast en native Russische sprekers die luisterden naar een Russische podcast. Tegelijkertijd voerden ze exact hetzelfde audiofragment in het computermodel in en observeerden hoe de activiteit van de 145.000 individuele kunstmatige neuronen in de loop van de tijd veranderde.

De resultaten waren opmerkelijk. Bij de native luisteraars stemde de activiteit van de hersenen overeen met het computermodel, van de allereerste laag van geluidverwerking tot aan de diepste lagen waar betekenis wordt geconstrueerd. Het was alsof de hersenen en de computer in perfecte pas liepen, laag voor laag. De onderzoekers konden zien dat naarmate het computermodel bewoog van eenvoudige geluidsdetectie naar complexe linguïstische begrip, de menselijke hersenen dat ook deden, zij het met een kleine vertraging. Dit bevestigde dat de hersenen natuurlijke spraak op een hiërarchische manier verwerken, bewegend van het fysieke naar het abstracte, en dat dit proces kan worden gevolgd door het te vergelijken met een machine die hetzelfde doet.

Om het exacte punt te vinden waar begrip afwijkt van simpelweg horen, voegden de onderzoekers een cruciale wending toe. Ze namen de Russische audio en speelden deze af voor een groep native Engelse sprekers die geen Russisch begrepen. De geluidsgolven waren fysiek identiek aan wat de native Russische sprekers hoorden, maar voor deze groep waren de geluiden slechts ruis. Ze konden het ritme en het volume horen, maar zij konden de betekenis niet vatten. Wanneer de onderzoekers de hersenactiviteit van deze niet-begrijpende luisteraars vergeleken met het computermodel, trad er een dramatische verandering op. De hersenen kwamen nog steeds perfect overeen met de vroege lagen van de computer, waarbij ze de basisgeluiden met dezelfde precisie volgden als de native sprekers. Echter, op het moment dat het computermodel overging naar de diepere lagen, waar het begon met het construeren van betekenis, stortte de afstemming met de menselijke hersenen in.

Deze instorting was abrupt en totaal. Voorbij een specifieke laag in het computermodel stopten de hersenen van de niet-begrijpende luisteraar met het volgen van de interne staat van de computer. De weinige resterende verbindingen die overbleven, volgden geen woorden of ideeën; ze volgden alleen de meest basale fysieke kenmerken van het geluid, zoals luidheid of de duur van een woord. Het was alsof de hersenen, beseffend dat ze geen betekenis konden vinden in de stroom, zich terugtrokken in de veiligheid van de ruwe data en de complexe lagen waar begrip huist, negeerden. De onderzoekers identificeerden dit breekpunt met hoge precisie en lokaliseerden het bij een specifieke laag in de architectuur van het model. Dit suggereert dat de hersenen hun grip op betekenis niet geleidelijk verliezen naarmate een taal minder bekend wordt; eerder behouden ze een perfecte grip op de geluiden totdat ze tegen een muur aanlopen, waarna het volgen van de hogere niveaus simpelweg wordt uitgeschakeld.

De studie onthulde ook dat deze grens geen vage zone is, maar een duidelijke drempel. Door de gegevens laag voor laag te analyseren, ontdekten de onderzoekers dat de overgang van hoge naar geen tracking zo scherp verliep dat deze kon worden vastgesteld op een enkele laag in het model. Dit niveau van detail was alleen mogelijk omdat ze naar individuele eenheden van het computermodel keken, één voor één, in plaats van ze gemiddeld te nemen. Eerdere studies die naar de hersenen en computermodellen als geheel keken, misten dit onderscheid vaak omdat ze de eenvoudige geluidverwerking mengden met de complexe betekenisverwerking. Door elke stap te isoleren, toonden de onderzoekers aan dat het vermogen van de hersenen om diepe, abstracte representaties te volgen volledig afhankelijk is van het vermogen van de luisteraar om de taal te begrijpen.

Deze ontdekking biedt een nieuwe manier om te kijken naar hoe het brein betekenis opbouwt. Het bevestigt dat begrip niet slechts een luidere versie van horen is; het is een afzonderlijke computationele fase die vereist dat de luisteraar over de nodige linguïstische kennis beschikt. Wanneer die kennis ontbreekt, worstelen de hersenen niet om betekenis te vinden; ze stoppen simpelweg met het proberen te volgen van de complexe patronen en concentreren zich volledig op de fysieke eigenschappen van het geluid. Deze bevinding heeft potentieel voor het begrijpen van hoe het brein werkt in situaties waarin communicatie moeilijk is, zoals bij patiënten die niet in staat zijn om te spreken of te reageren. Als de diepe-laag tracking van de hersenen instort zonder begrip, dan kan het meten van deze tracking dienen als een betrouwbare, niet-invasieve test om te zien of een persoon spraak begrijpt, zelfs als diegene dat niet kan aangeven. De onderzoekers merken op dat hoewel hun bevindingen gebaseerd zijn op specifieke talen en modellen, de methode een duidelijk pad biedt om te testen of deze grens universeel bestaat over verschillende talen en soorten spraak.

Het werk vormt een belangrijke stap voorwaarts in het overbruggen van de kloof tussen kunstmatige intelligentie en neurowetenschap. Door een computermodel te gebruiken dat taal verwerkt op een manier die transparant en interpreteerbaar is, waren de onderzoekers in staat de hersenactiviteit als een kaart te lezen. Ze zagen niet alleen dat de hersenen actief waren; ze zagen precies welk deel van de hersenen actief was en wat het op elk moment deed. Deze benadering gaat verder dan de vraag of de hersenen spraak begrijpen, en vraagt hoe ze dat begrip opbouwen, laag voor laag. Het resultaat is een helder, gedetailleerd beeld van de reis van geluid naar betekenis, dat laat zien dat het moment waarop we een taal niet meer begrijpen, het moment is waarop onze hersenen het pad van betekenis verlaten en terugkeren naar de veiligheid van het geluid zelf.