Technische Samenvatting: De Proxy-aanname: Van Semantische Embeddings naar Geldige Sociale Maatstaven

1. Probleemstelling: De Proxy-aanname

Het artikel identificeert een fundamentele validiteitscrisis in de toepassing van Natural Language Processing (NLP) op Computational Social Science (CSS). Hoewel NLP steeds vaker wordt gebruikt om latente sociale constructen (bijvoorbeeld nieuwheid, creativiteit, bias, ideologie) te meten via semantische embeddings, vertrouwt het vakgebied op een "Proxy-aanname". Deze aanname veronderstelt dat geometrische eigenschappen van embedding-ruimten (bijvoorbeeld cosinus-afstand of -gelijkheid) fungeren als directe, geldige maatstaven voor theoretische sociale concepten zonder voldoende empirische validatie.

De auteurs betogen dat deze aanpak een niet-identificatieprobleem vormt. Ongecontroleerde embeddings comprimeren meerdere generatieve factoren tot een enkele representatie, waardoor het doelconstruct ($C$) verstrengeld raakt met storende attributen ($Z$), zoals onderwerp, stijl, register, auteurschap en lengte. Zonder expliciete ontkoppeling of ontwerp-gebaseerde controles vangen standaardmetrieken vaak methodologische variantie (bijvoorbeeld verschuivingen in onderwerp of veranderingen in woordenschat) in plaats van het beoogde sociale fenomeen. Het artikel formaliseert dit als een slecht gesteld invers probleem waarbij het herstellen van een latent construct uit waargenomen tekst theoretisch onmogelijk is zonder structurele aannames of interventies.

2. Methodologisch Kader

2.1 Theoretische Formalisering

De auteurs modelleren documentgeneratie als een stochastisch proces $p_\theta(D | c, z)$, waarbij $D$ het document is, $c$ het scalair doelconstruct en $z$ een vector van storende attributen.

• Rotatie-ambiguïteit: Aansluitend bij causaal representatieleren (Locatello et al., 2019; Schölkopf et al., 2021) bewijst het artikel dat ongecontroleerde doelstellingen die de data-likelihood maximaliseren, geen onderscheid kunnen maken tussen de ware latente basis en een willekeurig geroteerde basis. Bijgevolg is de geleerde embedding-dimensie die voor meting wordt gebruikt, een onlosmakelijk mengsel van $c$ en $z$.
• Metrische onbepaaldheid: Zelfs met een perfect ontkoppelde encoder falen het toepassen van geometrische functies (zoals cosinus-gelijkheid of Euclidische afstand) op volledige embeddings, omdat de metriek kan worden gedomineerd door storende variantie ($z$) in plaats van construct-variantie ($c$). Bijvoorbeeld, een hoge cosinus-gelijkheid kan gedeelde onderwerpen weerspiegelen in plaats van conceptuele gelijkenis.

2.2 Voorgestelde Interventies

Om verstrengeling te mitigeren, schetst het artikel een interventiestrategie op drie niveaus:

1. Input-ontkoppeling: Voorbewerken van tekst om de afhankelijkheid van $Z$ te verminderen (bijvoorbeeld door alleen construct-relevante spannen te extraheren via LLM's, stilistische normalisatie, of entiteit-maskering).
2. Representatie-ontkoppeling: Trainen van encoders om $Z$ te onderdrukken terwijl $C$ behouden blijft, gebruikmakend van adversariele verwijdering, projectie op de nulruimte, of contrastief leren.
3. Methodologische ontkoppeling: Ontwerpen van scorefuncties die bijdragen van storende factoren opheffen. De auteurs stellen Contrastieve Neutralisatie voor, waarbij een meting wordt gedefinieerd als het verschil tussen een waargenomen embedding en een contrasterende "geneutraliseerde" embedding (waarbij het constructsignaal wordt geminimaliseerd maar $Z$ behouden blijft).

2.3 Het Constructvaliditeitsprotocol (CVP)

De kernbijdrage is het Constructvaliditeitsprotocol (CVP), een gestandaardiseerde pijplijn aangepast uit psychometrie en causale inferentie om op embeddings gebaseerde maatstaven te valideren. Het bestaat uit drie fasen:

• Fase 1: Conceptualisering: Het vestigen van gezichts- en inhoudsvaliditeit door middel van deskundig toezicht. Dit omvat het definiëren van het construct, het enumereren van storende dimensies, en het creëren van een "bekende-groepen" ankerset (hoge, lage en grensgevallen) om beslissingsgrenzen te auditeren.
• Fase 2: Operationalisering: Ontwerpen van instrumenten die verstrengeling verminderen met behulp van de hierboven beschreven interventies.
• Fase 3: Het Validiteitspakket: Een gestructureerd rapportagekader (een "Validiteitskaart") dat vijf specifieke soorten bewijs vereist:
  1. Betrouwbaarheid/Stabiliteit: Testen van robuustheid tegen verstoringen (encoder-varianten, prompt-parafrasering) met behulp van Intraclass Correlatiecoëfficiënten (ICC).
  2. Convergente Validiteit: Correlatie met een onafhankelijke, externe "gouden standaard"-maatstaf van hetzelfde construct.
  3. Discriminerende en Incrementele Validiteit: Bewijzen dat de maatstaf onderscheidend is van storende factoren (bijvoorbeeld onderwerp, lengte) en meer verklarende kracht toevoegt dan deze factoren voor een externe validatielabel.
  4. Bekende-groepen Validiteit: Aantonen dat de maatstaf vooraf gespecificeerde hoge en lage constructgroepen scheidt.
  5. Criterium-gerelateerd Bewijs: Voorspellen van downstream uitkomsten in de getheoretiseerde richting, terwijl wordt gecontroleerd voor sterke storende variabelen.

3. Belangrijkste Resultaten en Empirische Analyse

3.1 Uitgewerkt Voorbeeld (GoEmotions)

De auteurs pasten het CVP toe op de GoEmotions-dataset om "dankbaarheid" te meten.

• Betrouwbaarheid: Door encoders, pooling-methoden en normalisatie te variëren, bereikten ze een hoge stabiliteit (ICC(2,1) = 0,8467).
• Discriminerende Validiteit: Een regressieanalyse toonde aan dat de proxy-score grotendeels herleidbaar was uit onderwerpfactoren ($R^2 = 0,7762$), wat wijst op significante verstrengeling met storende variabelen.
• Incrementele Validiteit: Ondanks de verstrengeling verbeterde het toevoegen van de proxy aan een model dat alleen storende kenmerken bevatte, significant de voorspelling van menselijke labels (AUC steeg van 0,9658 naar 0,9831), wat aantoont dat het constructsignaal bestaat maar gemengd is met ruis.
• Foutenanalyse: De audit onthulde specifieke faalmodi, zoals vals-positieven waarbij "dank u wel" sarcastisch werd gebruikt, wat de noodzaak benadrukt van de "bekende-groepen"-audit in Fase 1.

3.2 Forensische Literatuuroverzicht

De auteurs voerden een forensische analyse uit van 17 invloedrijke papers (2020–2025) die computationele metrieken voor sociale constructen voorstellen.

• Vondsten: Hoewel de meeste papers constructdefinities en gezichts-/inhoudsbewijs leverden (vaak via kwalitatieve voorbeelden), ontbrak het grotendeels aan rigoureus identificatiebewijs.
  • Discriminerende Validiteit: 0 papers toonden volledige discriminerende validiteit aan (het uitsluiten van vervanging door storende factoren).
  • Convergente Validiteit: Slechts 1 paper vestigde convergentie tegen een onafhankelijk instrument op hetzelfde analyse-eenheid.
  • Causale Identificatie: Geen van de bemonsterde papers gebruikte methoden voor causale identificatie om constructen te isoleren van confounders; men vertrouwde op heuristieken of associatieve controles.
• Conclusie: De literatuur documenteert frequent dat een proxy gedefinieerd en stabiel genoeg is om te berekenen, maar toont zelden aan dat het het beoogde construct isoleert. Dit creëert het risico van de "Jangle-fout", waarbij verschillende papers claimen hetzelfde construct te meten maar in werkelijkheid verschillende mengsels van signaal en ruis volgen.

4. Belangrijkste Bijdragen

1. Resultaat van Niet-identificatie: Formaliseren waarom ongecontroleerde metrieken niet betrouwbaar latente constructen kunnen herstellen zonder expliciete aannames of interventies, en bewijzen dat statistische onafhankelijkheid geen ontkoppeling impliceert.
2. Methodologische Oplossingen: Voorstellen van Contrastieve Neutralisatie en het verbinden daarvan met bestaande debiasing-tools (adversariele verwijdering, projectie op de nulruimte).
3. Het Constructvaliditeitsprotocol (CVP): Leveren van een rapportagestandaard voor de gemeenschap die overstapt van conceptualisering naar een gestructureerde Validiteitskaart, zodat maatstaven wetenschappelijk verdedigbaar zijn.
4. Forensisch Bewijs: Documenteren van de prevalentie van de Proxy-aanname in recente literatuur, waarbij een systematische kloof wordt aangetoond tussen geometrische proxies en geldige sociale maatstaven.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een positie- en synthesebijdrage, niet als een definitieve standaard. De primaire betekenis ligt in:

• Verschuiven van het Bewijslast: Betogen dat "meten door hernoemen" (het gelijkstellen van geometrische afstand met sociale concepten) onvoldoende is. Validiteit moet empirisch worden aangetoond, niet verondersteld.
• Aanbieden van Cumulatieve Wetenschap: Door het standaardiseren van validiteitsrapportage (via de Validiteitskaart), beoogt het protocol resultaten vergelijkbaar te maken tussen studies en het risico te verminderen dat lekken van onderwerp/stijl zich voordoen als sociale signalen.
• Verdedigen van Downstream Inferentie: Benadrukken dat als variabeleconstructie geen validiteit mist, geen enkele downstream causale ML-methode causale verbanden strikt kan vaststellen.

De auteurs stellen expliciet dat ze niet beogen het gebruik van proxies te verbieden, maar ze testbaar te maken. Ze erkennen beperkingen, met de opmerking dat hun codering gerapporteerde praktijken weerspiegelt (wat onuitgegeven analyses kan onderschatten) en dat het CVP zelf verdere iteratie en prospectieve empirische casestudies vereist om praktische kosten en faalmodi te kwantificeren. Het doel is heuristische proxies te transformeren in robuuste, wetenschappelijk verdedigbare instrumenten voor Computational Social Science.