Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views

Technische Samenvatting: Voorbij Genreconstructie: Het Leren van Celrepresentaties door Complementaire Transcriptomische Views

Probleemstelling
Huidige fundamentmodellen voor single-cell transcriptomica worden voornamelijk voorgetraind via voorspelling van gemaskeerde expressiewaarden (Masked Language Modeling, of MLM). Hoewel dit doel effectief afhankelijkheden op genuiveau en latente co-expressiestructuren leert, biedt het supervisie alleen op individueel genu niveau. Bijgevolg optimaliseren deze modellen niet direct de representaties van de gehele cel, die cruciaal zijn voor downstream-taken zoals celtype-annotatie en genregulerende netwerk (GRN) inferentie. Bovendien garandeert een sterke reconstructieprestatie niet noodzakelijkerwijs onderscheidende of overdraagbare cel-embeddings.

Daarnaast brengt het toepassen van standaard contrastief leren op single-cell data twee domeinspecifieke uitdagingen met zich mee:

1. Constructie van Positieve Paren: In tegenclus bij afbeeldingen (zoals cropping) die de identiteit van een object behouden, kan het verstoren van genexpressiewaarden de onderliggende biologische staat of celidentiteit veranderen, wat het moeilijk maakt om geldige positieve paren te construeren.
2. Negatieve-Pair Shortcuts: In ijle (sparse) transcriptomische inputs behouden verschillende cellen vaak verschillende subsets van gen-identiteiten. Standaard contrastief leren loopt het risico dat modellen negatieve paren onderscheiden op basis van de samenstelling van de gen-sets (gen-identiteit) in plaats van de correspondentie tussen specifieke genen en hun expressiewaarden te leren.

Methodologie: CoCoS
De auteurs stellen CoCoS voor (Co-expression-guided Contrastive pretraining for Single-cell), een raamwerk ontworpen om celrepresentaties te leren via complementaire transcriptomische views, terwijl de bovenstaande uitdagingen worden geadresseerd. De methode integreert drie specifieke aanpassingen:

1. Co-expressie-gestuurde Gen-partitionering:
   Om biologisch geldige positieve paren te construeren zonder de celidentiteit te veranderen, partitioneert CoCoS de genen van elke cel in twee complementaire views op basis van een co-occurrence graaf. Genen die frequent samen voorkomen in hoog-expressieve toestanden, worden aan verschillende views toegewezen. Voor elke cel genereert het model twee views: de ene maskeert expressiewaarden in de eerste gen-set, en de andere maskeert waarden in de tweede set. Dit zorgt ervoor dat elke genwaarde wordt waargenomen in één view en wordt gemaskeerd in de andere, waardoor de oorspronkelijke gen-identiteiten en expressiewaarden behouden blijven terwijl complementaire informatie wordt geboden.

2. Expressie-bewuste Contrast-Set Constructie:
   Om te voorkomen dat het model gen-set identiteit als een shortcut gebruikt, construeert CoCoS "harde negatieven". Voor een gegeven anker-cel view creëert het model identiteits-gematchte negatieven door de expressiewaarden te permuteren terwijl de gen-identiteiten en het maskeringpatroon ongewijzigd blijven. Omdat de originele en de gepermuteerde inputs exact dezelfde set genen bevatten, kan het model ze niet onderscheiden op basis van gen-samenstelling alleen; het moet de specifieke correspondentie tussen genen en hun expressiewaarden leren. De contrast-set bevat deze harde negatieven naast standaard in-batch negatieven van andere cellen.

3. Competentie-gestuurde Contrastieve Onset:
   Het raamwerk introduceert een data-afhankelijke controller om te bepalen wanneer de contrastieve doelstelling geactiveerd wordt. In een vroeg stadium van de training heeft het model nog geen stabiele cross-gen afhankelijkheden geleerd via gemaskeerde reconstructie. Het introduceren van contrastieve loss direct kan ertoe leiden dat het model views uitlijnt met behulp van technische cues (bijv. bibliotheekgrootte of ijlheid) in plaats van biologische correspondentie. CoCoS gebruikt een vaste, niet-gelabelde "sentinel" cohort om drie metrieken te monitoren: gen-programma concordantie (scheiding van gepaarde versus mismatchende views), reconstructiefout en embedding diversiteit (repertoire). Het contrastieve gewicht blijft nul totdat deze metrieken aangeven dat het model een stabiele reconstructie-competentie en cross-view structuur heeft bereikt, waarna het gewicht geleidelijk toeneemt.

Belangrijkste Bijdragen

• Identificatie van Mismatch: De auteurs karakteriseren de mismatch tussen de reconstructie van gemaskeerde expressiewaarden en het leren van hele-cel representaties, waarbij ze drie specifieke vereisten definiëren voor het toepassen van contrastief leren bij single-cell pretraining: biologisch geldige positieve views, mitigatie van gen-identiteit shortcuts in negatieven, en de juiste timing voor contrastieve supervisie.
• CoCoS Raamwerk: De introductie van een pretraining raamwerk dat gezamenlijk co-expressie-gestuurde views, expressie-bewuste contrast-sets met fixed-identity value derangements, en een competentie-gestuurde onset mechanisme ontwerpt.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat begrensde hele-cel contrastieve supervisie meer onderscheidende en overdraagbare representaties oplevert dan zuivere reconstructie-gebaseerde methoden.

Resultaten
De auteurs evalueerden CoCoS (specifiek de CoCoS-GPC variant) op downstream taken met behulp van bevroren hele-cel embeddings:

• Celtype-annotatie: Onder een verenigd tien-dataset cel-forward evaluatieprotocol behaalde CoCoS-GPC de hoogste gemiddelde k-NN nauwkeurigheid (74,82%) en lineaire probe nauwkeurigheid (78,85%) onder de vergeleken varianten, waarmee het gevestigde modellen zoals scGPT en Geneformer V2-104M overtrof.
• Genregulerende Netwerk (GRN) Inferentie: In een zes-netwerk GRN evaluatie registreerde CoCoS-GPC de hoogste gemiddelde AUROC (0,8733) en AUPRC (0,7120) punt schattingen. De auteurs merken op dat hoewel het gemiddelde het hoogst is, de best presterende variant verschilt per individueel netwerk.
• Ablatie-studies:
  • View Design: Expressie-bewuste sampling presteerde beter dan uniforme sampling en gebalanceerde-random panels.
  • Negatieve Constructie: Diagnostische tests bevestigden dat fixed-identity negatieven succesvol de afhankelijkheid van gen-set samenstelling hebben gemitigeerd, waardoor het betrouwbaarheidsverschil tussen gewone negatieven en identiteits-gematchte derangements werd verkleind.
  • Onset Timing: Een competentie-gestuurde onset (getriggerd bij stap 93.000) presteerde beter dan directe contrast en vaste warmup schema's (1 of 2 epochs), wat de noodzaak valideert om te wachten op reconstructie-competentie voordat contrastieve supervisie wordt geïntroduceerd.

Betekenis en Claims
Het artikel beweert dat complementaire-view contrastief leren een effectieve richting is om single-cell pretraining uit te breiden voorbij genreconstructie. Door de specifieke uitdagingen van de geldigheid van positieve paren, negatieve-pair shortcuts en de timing van training aan te pakken, vestigt CoCoS een methode die meer onderscheidende en overdraagbare celrepresentaties produceert. De auteurs positioneren dit werk niet als een vervanging voor reconstructie, maar als een noodzakelijke aanvulling die de geometrie van hele-cel embeddings optimaliseert, waardoor de prestaties op downstream taken zoals celtype-annotatie en GRN-inferentie binnen de geëvalueerde datasets en protocollen worden verbeterd. De resultaten suggereren dat goed begrensde hele-cel contrastieve supervisie superieur is aan zuivere reconstructie-gebaseerde benaderingen voor het leren van overdraagbare celrepresentaties.