ARMA-C3: A Contrastive ARMA Convolutional Framework for Unsupervised and Semi-supervised Classification

Technische Samenvatting van ARMA-C3: Een Contrastief ARMA Convolutioneel Kader

Probleemstelling

Een accurate en vroege identificatie van neurodegeneratieve en medische aandoeningen blijft uitdagend vanwege de schaarste aan gelabelde data, de complexiteit van beeldvormingspatronen en hoogdimensionale, ruisgevoelige modaliteiten (bijv. diffusie-MRI, echografie, röntgen). Traditionele machine learning-benaderingen behandelen proefpersonen of afbeeldingen vaak als onafhankelijke instanties, waarbij cruciale relationele informatie en proefpersoonspecifieke structuren die ziekteprogressie kunnen aanduiden, worden genegeerd. Bovendien vertrouwen bestaande Graph Neural Network (GNN)-methoden in biomedische contexten voornamelijk op toezichtgeleerd leren, wat grote hoeveelheden dure gelabelde data vereist, of ze slagen er niet in om onderliggende datastructuren volledig te benutten in ontoezichtgeleerde en semi-toezichtgeleerde regimes. Huidige op grafen gebaseerde methoden worstelen vaak om zowel cohesie-niveau cohortstructuren te behouden als augmentatie-invariante proefpersoonsrepresentaties af te dwingen onder ruisgevoelige grafconstructie.

Methodologie

De auteurs stellen ARMA-C3 voor, een unificerend ontoezichtgeleerd en semi-toezichtgeleerd grafenleerkader dat is ontworpen voor knoopclassificatie. Het kader integreert drie kernelementen: contrastief leren, ARMA (Auto-Regressive Moving Average) Convolutie en graf-Cut regularisatie.

1. Grafconstructie en Preprocessing:

   • Functie-extractie: Voor diffusie-MRI (dMRI)-datasets (ADNI, NIFD) extraheren de methode Fractional Anisotropy (FA)-kaarten, registreert deze op een witte-stofatlas en construeert histogramgebaseerde beschrijvers op basis van vooraf gedefinieerde neuroanatomisch relevante Regions of Interest (ROI's). Voor op afbeeldingen gebaseerde datasets (BreastMNIST, PneumoniaMNIST, Lever-Echografie) worden functies geëxtraheerd met behulp van bevroren voorgeöefende backbones (ViT-DINO voor echografie, ResNet-18 voor röntgen) om overfitting in regimes met weinig data te voorkomen.
   • Grafvorming: Proefpersonen worden gemodelleerd als knopen. Een proefpersoonspecifieke graf wordt geconstrueerd waarbij randen inter-proefpersoonsimilariteit vertegenwoordigen, berekend via cosinussimilariteit van functievectoren. Een drempelwaarde $\alpha$ wordt toegepast om de adjacentiematrix te verdunnen, wat fungeert als een impliciet ruisreductiemechanisme.

2. Architecturale Componenten:

   • ARMA Convolutie: Het kader maakt gebruik van op ARMA gebaseerde grafische convolutienetwerken. In tegenstelling tot standaard GCN's gebruiken ARMA-lagen recursieve filterstapels om spectrale grafconvoluties te benaderen. Dit zorgt voor flexibele frequentieresponsen, verbeterde controle over oversquashing door iteratief berichtverfijning, en het vastleggen van zowel lokale als langetermijnafhankelijkheden in de graf.
   • Structurele Regularisatie (Graf-Cut/Modulariteit): Om functiemenging en oversmoothing te voorkomen (waarbij embeddingen van verschillende clusters samenvloeien), integreert het model modulariteitsmaximalisatie. Dit legt expliciete beperkingen op zachte cluster-toewijzingen, wat sterke verbindingen binnen gemeenschappen en zwakke verbindingen tussen hen aanmoedigt. Een balancerende regularizer voorkomt dat alle knopen in één enkele cluster instorten.
   • Contrastief Leren (MERIT): Het kader adopteert de Multi-scale Contrastive Siamese Network (MERIT)-benadering. Het dwingt consistentie af over meerdere geaugmenteerde weergaven van dezelfde graf met behulp van een leermeester-leerling-paradigma (met een Exponential Moving Average-leermeester). Dit zorgt ervoor dat geleerde representaties invariant zijn ten opzichte van lokaal functieruis en globale structurele verstoringen.

3. Optimalisatiedoel:
   Het model wordt getraind door gezamenlijke optimalisatie van een structurele regularisatieverlies ($L_{struct}$) en een contrastief verlies ($L_{con}$). In semi-toezichtgeleerde settings wordt een toezichtgeleerd cross-entropy-verlies ($L_{sup}$) toegevoegd voor gelabelde knopen. Het totale doel is:
   $$L = L_{struct} + \lambda_{con} L_{con} \quad (\text{ontoezichtgeleerd})$$
   $$L_{total} = \lambda_{con} L_{con} + L_{sup} + \lambda_{struct} L_{struct} \quad (\text{semi-toezichtgeleerd})$$

Belangrijkste Bijdragen

1. Unificerend Kader: Het artikel introduceert een nieuwe gezamenlijke formulering die modulariteitsgebaseerde structurele regularisatie en multi-view contrastieve consistentie gelijktijdig optimaliseert binnen één doel. Deze koppeling wordt uniek geacht in de context van biomedisch populatiegrafenleren, waarbij de kloof wordt aangepakt waar eerdere methoden deze componenten onafhankelijk behandelden.
2. Robuust Ontoepichtgeleerd Clustering: Het kader voert volledig ontoezichtgeleerde knoopniveau-clustering uit zonder afhankelijkheid van diagnostische labels. Het onthult stabiele proefpersoongroepen, wat robuuste ziekteclassificatie mogelijk maakt in real-world omgevingen gekenmerkt door labelschaarste en ernstige klasse-ongelijkheid.
3. Cross-Modale Generalisatie: De methode toont sterke aanpasbaarheid over fundamenteel verschillende biomedische modaliteiten, inclusief diffusie-MRI (neurobeeldvorming), borstechografie, leverechografie en borströntgen.
4. Klinische Functie-engineering: Voor dMRI-data construeren de auteurs een compacte representatie met behulp van klinisch onderbouwde ROI's (bijv. corpus callosum, fornix) en histogramgebaseerde FA-verdelingen, waarbij ziektegevoelige microstructurele informatie behouden blijft.

Experimentele Resultaten

Het kader werd geëvalueerd op vijf datasets: ADNI (CN vs. MCI, CN vs. AD), NIFD (Frontotemporale Dementie), BreastMNIST, PneumoniaMNIST en een Lever-Echografie dataset.

• Ontoepichtgeleerde Prestaties: ARMA-C3 behaalde concurrerende of superieure prestaties in vergelijking met klassieke clusteringstechnieken (K-Means, SpectralNet), state-of-the-art grafclustering (MAGI, TokenCut) en standaard GNN-backbones (GCN, GAT). Opmerkelijk is dat het statistisch significante verbeteringen behaalde ten opzichte van MAGI over alle datasets (bijv. F1-score van 0,786 versus 0,778 op CN vs. MCI; 0,841 versus 0,790 op BreastMNIST).
• Semi-toezichtgeleerde Prestaties: Met slechts 10% gelabelde data overtrof ARMA-C3 consistent traditionele classifiers (SVC, Random Forest) en andere op grafen gebaseerde semi-toezichtgeleerde methoden (APPNP, JacobiConv). Het behield gebalanceerde precisie-herkansing-trade-offs, wat cruciaal is voor ziektescreening waar vals-negatieven kostbaar zijn.
• Ablatiestudies: Experimenten bevestigden dat:
  • Een fijnere histogrambin-resolutie (20 bins) cruciaal is voor het onderscheiden van subtiele microstructurele verschillen in ziekte in een vroeg stadium.
  • De keuze van de functieruggegraat ertoe doet (ViT-DINO presteerde beter dan ResNet-18 op echografie, terwijl ResNet-18 iets beter was op röntgen).
  • Matige grafverduinningsdrempels ($\alpha$) en contrastief verliesgewichten ($\lambda_{con}$) de beste balans opleveren tussen structuurbehoud en ruisreductie.
  • De geleerde embeddingen de intrinsieke datageometrie behouden, zelfs onder agressieve dimensionalisiteitsreductie (PCA), in tegenstelling tot ruwe functies.

Betekenis en Claims

Het artikel claimt dat ARMA-C3 een unificerend en klinisch relevant kader biedt voor biomedische data-analyse, met name in scenario's waar annotatie duur is of data ongelijk is. Door inter-proefpersoonsrelaties te modelleren en spectrale filtering te benutten met contrastieve consistentie, leert de methode stabiele, goed gescheiden en robuuste representaties.

De auteurs positioneren ARMA-C3 als een label-efficiënt voorselectietool voor klinische pijplijnen (bijv. dMRI-cohortstudies, echografie-triage). Het beoogt de last van handmatige annotatie te verminderen terwijl diagnostisch zinvolle subgroepafscheiding behouden blijft. Het vermogen van het kader om te generaliseren over heterogene beeldvormingsmodaliteiten suggereert zijn potentie als veelzijdig hulpmiddel voor diverse biomedische beeldvormingstaken, verder gaand dan de beperkingen van modaliteitsspecifieke of puur toezichtgeleerde benaderingen.

Erkende Beperkingen: De auteurs merken op dat het kader gevoelig is voor hyperparameters voor grafconstructie (specifiek de verduinningsdrempel $\alpha$), dataset-specifieke afstemming vereist en momenteel een statische transductieve grafconstructiestrategie hanteert die reconstructie vereist wanneer nieuwe proefpersonen worden geïntroduceerd. Toekomstig werk is gepland om multi-class modellering en inductief grafenleren aan te pakken.