Time Series, Vision, and Language: Exploring the Limits of Alignment in Contrastive Representation Spaces

Deze studie toont aan dat, hoewel tijdreeksen, visuele en taalmogelijkheden in principe kunnen convergeren naar een gedeelde representatieruimte, hun uitlijning asymmetrisch is en tijdreeksen zich sterker laten aligneren met beelden dan met tekst, waarbij beelden fungeren als effectieve tussenlaag.

De kern

Stel je voor dat je drie vrienden hebt die elk een heel andere manier hebben om de wereld te beschrijven.

1. De Visuele Vriend (Vision): Hij tekent alles. Als je hem vraagt hoe een dag eruitzag, maakt hij een tekening. Hij ziet de vorm, de lijnen en de kleuren.
2. De Taalkundige Vriend (Language): Hij praat. Hij gebruikt woorden om dingen te benoemen. Hij zegt: "Het was een zonnige dag met een plotselinge regenbui."
3. De Data-Vriend (Time Series): Hij houdt cijfers bij. Hij heeft geen tekening en geen woorden, alleen een lange lijst met getallen die elke seconde een meting weergeeft. Bijvoorbeeld: 85, 86, 87, 82, 80...

Het grote vraagstuk:
De wetenschappers van dit onderzoek wilden weten: Kunnen deze drie vrienden met elkaar praten? Kunnen ze een gezamenlijke taal leren zodat ze precies hetzelfde begrijpen, ook al gebruiken ze zo'n verschillende manieren om het te zeggen?

Dit idee heet de "Platonische Representatie Hypothese". Kort gezegd: als je slimme computers (AI) genoeg laten leren, zouden ze allemaal op de zelfde manier over de wereld moeten denken, ongeacht of ze kijken, lezen of met cijfers werken.

Maar tot nu toe hadden we dit alleen getest met de Visuele en de Taalkundige vriend. De Data-Vriend (tijdsreeksen) was nog een mysterie.

Wat hebben ze ontdekt?

De onderzoekers hebben een experiment gedaan waarbij ze deze drie vrienden bij elkaar brachten in een virtuele ruimte. Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse taal:

1. Ze spreken eerst niet met elkaar (De "Dode Stilte")
Als je de drie vrienden apart laat werken zonder dat ze elkaar hebben ontmoet, praten ze alsof ze in totaal verschillende talen spreken. Hun gedachten (de data in de computer) liggen zo ver uit elkaar dat ze elkaar niet kunnen vinden. Het is alsof de Data-Vriend in het Chinees praat, de Visuele Vriend in het Frans en de Taalkundige Vriend in het Duits. Ze staan allemaal in een hoekje, maar kijken niet naar elkaar.

2. De Visuele Vriend is de beste tolk
Toen ze de vrienden dwongen om samen te werken (door ze te trainen om op elkaar te reageren), gebeurde er iets interessants:

• De Data-Vriend en de Visuele Vriend kregen het heel snel goed met elkaar. Waarom? Omdat een lijngrafiek (de tekening van de Data-Vriend) er visueel heel veel op lijkt. Een stijgende lijn in de cijfers is ook een stijgende lijn in de tekening. Dat is makkelijk te zien!
• De Data-Vriend en de Taalkundige Vriend hadden het veel moeilijker. Woorden zijn abstract. Als de Data-Vriend zegt "85, 86, 87", en de Taalkundige Vriend zegt "een stijgende trend", dan moeten ze eerst hard nadenken om die link te leggen. Het is alsof je probeert een getal te vertalen naar een gevoel.

3. De Visuele Vriend helpt de anderen
Het meest interessante was: als de Taalkundige Vriend en de Data-Vriend het moeilijk hadden, hielp de Visuele Vriend hen enorm.
Stel je voor: De Data-Vriend en de Taalkundige Vriend kunnen elkaar niet begrijpen. Maar als ze beiden naar de tekening (de Visuele Vriend) kijken, snappen ze elkaar ineens wel!

• De tekening maakt de cijfers "zichtbaar".
• De woorden beschrijven de tekening.
  Dus, de tekening fungeert als een brug of een tolk tussen de cijfers en de woorden.

4. Meer woorden helpen niet altijd
Je zou denken: "Als we de Taalkundige Vriend maar heel gedetailleerde instructies geven, wordt het makkelijker."
De onderzoekers ontdekten dat dit maar tot een zekere punt werkt. Als je de beschrijvingen heel rijk maakt, wordt het beter. Maar als je ze nog rijker maakt (bijvoorbeeld door elke kleine detail toe te voegen), gebeurt er niets meer. Het is alsof je iemand probeert te overtuigen met een boek vol tekst; na een bepaald punt helpt meer tekst niet meer, omdat de "vertaalslag" van cijfers naar woorden nu eenmaal moeilijk blijft.

5. Grotere hersenen helpen, maar niet voor iedereen
Hoe groter de computer (het "brein") is, hoe beter ze over het algemeen met elkaar kunnen praten. Maar zelfs met enorme computers blijft het moeilijk om de cijfers direct met woorden te verbinden. De link tussen cijfers en tekeningen wordt wel steeds sterker naarmate de computer groter wordt.

Waarom is dit belangrijk?

Vroeger dachten we dat AI's van alles en nog wat konden leren en dat ze allemaal op dezelfde manier zouden gaan denken. Dit onderzoek laat zien dat de manier waarop informatie wordt gepresenteerd, heel belangrijk is.

• Als je wilt dat een computer medische gegevens (zoals een hartslaglijn) begrijpt, helpt het enorm als je die gegevens ook laat zien als een grafiek.
• Als je alleen maar tekst gebruikt (bijvoorbeeld een medisch verslag), is het voor de computer veel moeilijker om de exacte vorm van de hartslag te "voelen".

Conclusie in één zin:
Cijfers en woorden zijn als twee mensen die verschillende talen spreken; ze kunnen elkaar het beste begrijpen als ze samen naar een tekening kijken, want die tekening maakt de link tussen de twee duidelijk.

Technische samenvatting

Probleemstelling

De Platonische Representatie Hypothese (PRH) stelt dat representaties die door modellen worden geleerd, die op verschillende modaliteiten zijn getraind, convergeren naar een gedeelde latente structuur van de wereld. Hoewel dit fenomeen uitgebreid is onderzocht voor visie (beelden) en taal (tekst), is het onduidelijk of tijdsreeksen (time series) deel uitmaken van deze convergentie.

Tijdsreeksen vormen een unieke uitdaging omdat hun semantische structuur niet direct waarneembaar is uit de ruwe numerieke waarden. In tegenstelling tot beelden (die structuur expliciet coderen via ruimtelijke geometrie) of tekst (die semantiek expliciet coderen via symbolische tokens), moeten eigenschappen zoals trends, periodiciteit of anomalieën in tijdsreeksen impliciet worden afgeleid uit temporele variatie. De centrale vraag is: Kunnen tijdsreeksen dezelfde mate van representatieve uitlijning bereiken met visie en taal als die tussen beelden en tekst?

Methodologie

De auteurs voeren een systematisch empirisch onderzoek uit naar trimodale uitlijning (tijdsreeksen, beelden, tekst) met behulp van contrastief leren (Contrastive Learning - CL).

1. Framework: Ze gebruiken een aanpak vergelijkbaar met CLIP, waarbij vooraf getrainde encoders voor elke modality (tijdsreeks, visie, tekst) worden "bevroren" (frozen). Trainbare projectiehoofden (projection heads) worden getraind om deze representaties af te beelden op een gedeelde inbeddingsruimte.
2. Verliesfunctie: Er wordt een symmetrisch contrastief doel gebruikt (InfoNCE loss) dat gelijktijdig wordt toegepast op alle modality-paren:
   • Tijdsreeks – Beeld (TS–IMG)
   • Tijdsreeks – Tekst (TS–TXT)
   • Beeld – Tekst (IMG–TXT)
3. Datasets:
   • CaTS-Bench: Een dataset met uitgelijnde triplets van numerieke tijdsreeksen, visuele plots en tekstuele bijschriften. Hiermee wordt de invloed van informatiedichtheid (Information Density - ID) onderzocht door bijschriften te variëren van gecondenseerd tot zeer gedetailleerd.
   • TRUCE: Een dataset met korte tijdsreeksen en directe tekstuele beschrijvingen, gebruikt om het effect van visuele rijkdom (generieke vs. geannoteerde plots) te testen.
   • MIMIC-IV & PTB-XL: Klinische ECG-datasets met diagnostische rapporten. Hier is de tekst indirect gerelateerd aan het signaal (diagnoses in plaats van golfvormbeschrijvingen), en PTB-XL introduceert een taalkundige verschuiving (Duits vs. Engels).
4. Evalueringsmetrieken: De uitlijning wordt gemeten via Cosine Similarity Margin, Bidirectionele Retrieval (Recall@k), Procrustes Disparity (geometrische uitlijning), Centered Kernel Alignment (CKA) en Mutual kNN Overlap.

Belangrijkste Bijdragen en Resultaten

1. Asymmetrische Convergentie

De studie toont aan dat uitlijning niet uniform is.

• Tijdsreeksen aligneren sterker met beelden dan met tekst: Zelfs bij grote modelgroottes blijft de uitlijning tussen tijdsreeksen en tekst (TS–TXT) de zwakste.
• Beelden fungeren als intermediair: Beelden kunnen als effectieve tussenlaag dienen. Omdat visuele plots de latente temporele structuur expliciet maken (via geometrie), helpt het introduceren van de beeldmodality de uitlijning tussen tijdsreeksen en tekst te verbeteren. Dit suggereert dat beelden de "abstractie-kloof" tussen numerieke data en symbolische taal overbruggen.

2. Saturatie van Informatiedichtheid

• Het verhogen van de informatiedichtheid (ID) van tekst (meer gedetailleerde bijschriften) verbetert de uitlijning tot een bepaald punt.
• Echter, na het bereiken van een bepaalde drempelwaarde leidt verdere verdichting van de tekst (bijvoorbeeld door bijschriften twee keer zo lang te maken) niet tot verdere verbetering. Dit suggereert dat de beperkingen in uitlijning voortkomen uit representatieve mismatches (de aard van de data), niet alleen uit onvoldoende supervisie.

3. Invloed van Semantische Explicietheid

• Directe vs. Indirecte Supervisie: Uitlijning is het sterkst wanneer de tekst de signaalstructuur direct beschrijft (zoals in CaTS). Bij indirecte supervisie (zoals klinische rapporten in MIMIC die diagnoses geven in plaats van golfvormdetails) is de uitlijning aanzienlijk zwakker, zelfs bij grotere modellen.
• Taalverschuiving: Een verschuiving in de taal van de supervisie (Engels naar Duits in PTB-XL) verzwakt de semantische koppeling verder, wat aantoont dat uitlijning gevoelig is voor de inductieve bias van de taalencoder.

4. Schaalbaarheid en Architectuur

• Modelgrootte: Over het algemeen verbetert de uitlijning met de schaal van het model, maar de winst is ongelijk verdeeld. Het vergroten van de tijdsreeks-encoder levert de grootste winst op voor de TS–TXT-paren.
• Voorgestelde VL-modellen: Modellen die al vooraf zijn getraind op visie-taal (VL) tonen een sterke inherente IMG–TXT uitlijning, maar dit helpt niet automatisch de TS–TXT uitlijning tenzij de tijdsreekscomponent specifiek wordt geoptimaliseerd.

Significantie en Conclusie

Dit paper biedt een cruciale nuance aan de Platonische Representatie Hypothese voor numerieke modaliteiten. De belangrijkste conclusies zijn:

1. Convergentie is niet gegarandeerd: Zonder expliciete koppeling (contrastief leren) vertonen onafhankelijk getrainde encoders voor tijdsreeksen, beelden en tekst een bijna orthogonale geometrie; er is geen inherente convergentie.
2. Representatieformaat is leidend: De mate van uitlijning wordt bepaald door hoe expliciet semantiek is "geground" (geground) in de representatie. Beelden externaliseren temporele structuren naar een zichtbare geometrie, wat ze makkelijker uitlijnbaar maakt met tekst dan ruwe numerieke data.
3. Beelden als brug: In trimodale systemen kunnen beelden fungeren als een semantische brug die de kloof tussen tijdsreeksen en taal verkleint, wat relevant is voor het bouwen van robuuste multimodale systemen in domeinen zoals gezondheidszorg en wetenschappelijke analyse.
4. Beperkingen van schaal: Alleen het vergroten van modelgrootte of het toevoegen van meer tekstuele informatie lost de fundamentele mismatch tussen impliciete numerieke patronen en abstracte symbolische taal niet volledig op.

De bevindingen suggereren dat toekomstige multimodale systemen voor tijdsreeksen moeten focussen op het vergroten van de semantische explicietheid (bijvoorbeeld door gestructureerde beschrijvingen of visuele tussenlagen) in plaats van alleen te vertrouwen op schaal en grotere datasets.