Characterizing AlphaEarth Embedding Geometry for Agentic Environmental Reasoning

Titel: Karakterisering van de AlphaEarth Embedding-geometrie voor Agente Milieuredenering

Auteurs: Mashrekur Rahman, Samuel J. Barrett, Christina Last
Publicatie: Environmental Data Science (2026)

---

1. Probleemstelling

Aarde-observatie-fundatiemodellen (zoals Google AlphaEarth) comprimeren multispectrale satellietbeelden in dichte embedding-vectoren (in dit geval 64 dimensies) die de landoppervlakte representeren. Hoewel deze modellen uitstekend presteren op downstream-taken zoals landbedekkingclassificatie, is de geometrische structuur van deze embedding-ruimtes en de implicaties daarvan voor redenering nog onvoldoende begrepen.

De kernvragen zijn:

• Is de ruimte vlak (Euclidisch) of gekromd (niet-Euclidisch)?
• Kunnen we composiete operaties uitvoeren (zoals vectorrekenkunde analoog aan woordembeddings in NLP, bijv. "koning - man + vrouw = koningin")?
• Hoe moet een systeem ontworpen worden dat redeneert over deze vectoren, en welke rol speelt de geometrie bij de betrouwbaarheid van retrieval-augmented generation (RAG)?

Eerdere werken (Rahman, 2026) hebben een "woordenboek" gemaakt van individuele dimensies, maar dit vertelt niets over de relaties tussen dimensies of de kromming van de ruimte.

2. Methodologie

Het onderzoek bestaat uit drie fasen, gebaseerd op een dataset van 12,1 miljoen 64-dimensionale embedding-vectoren van Google AlphaEarth voor het continentale deel van de VS (CONUS) over de periode 2017–2023.

Fase 1: Karakterisering van de Manifold-geometrie

• Globale structuur: Eigendecompositie van de covariantiematrix om de effectieve dimensionaliteit te bepalen via de participation ratio.
• Intrinsieke dimensionaliteit: Gebruik van de Maximum Likelihood Estimator (Levina-Bickel) om de lokale complexiteit van de manifold te schatten.
• Lokale geometrie: Lokale PCA uitgevoerd op 10.000 "probe"-locaties om de uitlijning tussen lokale en globale hoofdcomponenten te meten en de rotatie van raakvlakken (tangent spaces) te analyseren.
• Multi-schaal analyse: Onderzoek naar hoe de geometrie verandert naarmate de omgevingsgrootte (k-nabuur) toeneemt.

Fase 2: Testen van Composiete Operaties

• Vectorrekenkunde: Experimenten met "targeted shift" (verplaatsen langs een eigenschap), "property transfer" (overdragen van eigenschappen tussen locaties) en "analogieën".
• Methoden: Vergelijking tussen PCA-gebaseerde richtingen en toezicht op lineaire probes (Ridge-regressie) om conceptrichtingen te vinden.
• Retrieval Coherentie: Meten of nabije vectoren in de embedding-ruimte ook fysiek vergelijkbare omgevingen vertegenwoordigen, en of dit voorspelbaar is op basis van geometrische kenmerken.

Fase 3: Agente Systeem Ontwikkeling

• Architectuur: Een ReAct-stijl agent (Redeneren + Acteren) die natuurlijke taalvragen omzet in multi-stap redeneerketens.
• Tools: Het systeem gebruikt 9 tools:
  • 5 retrieval-tools (gebaseerd op eerdere werken): locaties oplossen, embeddings ophalen, zoeken naar vergelijkbare locaties, dimensies interpreteren, locaties vergelijken.
  • 4 geometrie-bewuste tools: ophalen van geometrische context (intrinsieke dimensionaliteit, vertrouwensscore), beoordelen van retrieval-vertrouwen, regio-profielen en het identificeren van geometrisch vergelijkbare regio's.
• Evaluatie: Gebruik van "LLM-as-Judge" (Gemma-3-27B) om antwoorden te beoordelen op gronding, wetenschappelijke nauwkeurigheid, volledigheid, coherentie en praktische bruikbaarheid. Er is een ablatiestudie uitgevoerd en een cross-model benchmark tussen Claude Sonnet 4.5 en Opus 4.6.

3. Belangrijkste Resultaten

A. Geometrische Structuur van de Embedding

• Niet-Euclidisch en Gekromd: De 64-dimensionale ruimte heeft een effectieve dimensionaliteit van 13,3 (globaal) en een lokale intrinsieke dimensionaliteit van ongeveer 10.
• Significante Kromming: 84% van de locaties toont hoeken tussen raakvlakken van meer dan 60°. De uitlijning tussen lokale en globale hoofdcomponenten is zeer laag (gemiddelde $| \cos \theta | = 0,17$), wat dicht bij een willekeurige basislijn ligt.
• Implicatie: De richting die een bepaalde milieueigenschap (bijv. temperatuur) vertegenwoordigt, roteert substantieel over de ruimte. Er is geen enkele globale "richting" die overal geldt.

B. Mislukking van Composiete Operaties

• Vectorrekenkunde faalt: Experimenten met vectorrekenkunde (zoals analogieën) leverden lage precisie op, zowel met PCA-richtingen als met toezicht op lineaire probes.
• Reden: Omdat de conceptrichtingen lokaal variëren, generaliseren lokale concepten niet naar de hele ruimte. Het "schuiven" van een vector leidt vaak tot onbedoelde veranderingen in andere eigenschappen.
• Conclusie: Algebraïsche constructie van nieuwe embeddings is onbetrouwbaar; retrieval van bestaande embeddings is de juiste aanpak.

C. Retrieval en Vertrouwen

• Retrieval levert fysiek coherente resultaten op in de meeste gebieden.
• Een lineair model kan de betrouwbaarheid van retrieval voorspellen ($R^2 = 0,32$) op basis van geometrische kenmerken (zoals lokale intrinsieke dimensionaliteit en afstand tot buren). Dit stelt het agent in staat om een "vertrouwensscore" te genereren voordat het grondwaarheidsdata raadpleegt.

D. Prestaties van het Agente Systeem

• Retrieval is cruciaal: Het gebruik van satelliet-embeddings voor retrieval verbetert de antwoordkwaliteit aanzienlijk vergeleken met alleen parametrische kennis ($\mu = 3,79$ vs. $3,03$).
• Multi-stap redenering: Het agent-systeem excelleert bij vergelijkingen tussen meerdere locaties (Tier 2), een taak die deterministische pipelines niet aankunnen.
• Invloed van het Taalmodel:
  • Bij Claude Sonnet 4.5 (zwakker model) leidde het toevoegen van geometrische tools tot een lichte daling in score ($\Delta = -0,12$) door de complexiteit van de planning.
  • Bij Claude Opus 4.6 (sterker model) verbeterde de geometrische context de prestaties ($\Delta = +0,07$), vooral bij single-location queries ($\Delta = +0,58$). Het sterkere model kon de extra geometrische context effectiever benutten zonder vast te lopen in de planning.

4. Bijdragen en Significantie

1. Geometrische Karakterisering: Het paper biedt de eerste uitgebreide analyse van de niet-Euclidische, gekromde structuur van een grote aardobservatie-embedding-ruimte. Het bewijst dat lokale geometrie sterk afwijkt van globale structuren.
2. Validatie van Retrieval vs. Rekenkunde: Het toont aan dat vectorrekenkunde (zoals in NLP) niet direct overdraagbaar is naar deze ruimte, en dat retrieval-augmented generation de superieure strategie is voor milieuredenering.
3. Agente Architectuur: Introductie van een agent-systeem dat geometrische metadata (zoals vertrouwensscores en regionale profielen) gebruikt om redenering te sturen.
4. Model-Afhankelijkheid: Een cruciale bevinding is dat de waarde van complexe geometrische metadata afhangt van de redeneercapaciteit van het verbruikende taalmodel. Sterkere modellen profiteren van deze context, terwijl zwakkere modellen eronder kunnen lijden door de extra planningcomplexiteit.

Conclusie:
De studie concludeert dat voor effectieve agente systemen in de aardobservatie, het begrijpen van de kromming en lokale variabiliteit van de embedding-ruimte essentieel is. Dit leidt tot een verschuiving van algebraïsche manipulatie naar retrieval-gedreven redenering, waarbij de toegevoegde waarde van geometrische context toeneemt naarmate de intelligentie van het taalmodel verbetert.