Technische Samenvatting: Federatieve Concept-gebaseerde Modellen (F-CMs)

Probleemstelling

Concept-gebaseerde modellen (CMs) verbeteren de interpreteerbaarheid van deep learning door voorspellingen te verankeren in voor mensen begrijpelijke concepten. Hun praktische implementatie wordt echter belemmerd door de hoge kosten en schaarste van conceptannotaties binnen enkele gegevensbronnen. Hoewel Federatief Leren (FL) een paradigma biedt voor collaboratief trainen over gedistribueerde gegevensbezitters zonder ruwe gegevens te delen, zijn bestaande FL-kaders ongeschikt voor CMs. Standaard FL gaat uit van een vaste, gedeelde modelarchitectuur, terwijl CMs vertrouwen op een architectuur die expliciet gekoppeld is aan een specifieke set concepten en hun onderlinge afhankelijkheden. In realistische FL-situaties, gekenmerkt door statistische heterogeniteit en temporele non-stationariteit (bijvoorbeeld clients die toetreden of vertrekken, of datadrift), kan de set beschikbare concepten en hun structurele relaties evolueren. Dit creëert een fundamentele mismatch: standaard FL kan de architecturale aanpassingen niet opvangen die nodig zijn wanneer nieuwe concepten of afhankelijkheden ontstaan, wat leidt tot verlies van interpreteerbaarheid of de noodzaak van kostbare volledige hertraining.

Methodologie: Federatieve Concept-gebaseerde Modellen (F-CMs)

De auteurs stellen Federatieve Concept-gebaseerde Modellen (F-CMs) voor, een kader ontworpen om CMs in evoluerende federatieve omgevingen in te zetten. F-CMs adresseren de mismatch tussen statische FL-aannames en dynamische conceptruimtes via drie kernmechanismen:

1. Grafische Aggregatie:
   In plaats van uit te gaan van een vooraf gedefinieerde globale structuur, aggregeert de server structurele informatie (Gerichte Acyclische Grafen of DAGs) die door clients wordt aangeleverd. Elke client $k$ dient een gewogen burenmatrix $A^{(k)}$ in die zijn lokale vertrouwen in randen tussen gesuperviseerde variabelen weergeeft. De server construeert een gedeelde globale DAG $G_t$ door deze vertrouwenwaarden op te tellen en een maximum-consensusregel toe te passen om het bestaan en de richting van randen te bepalen. Dit proces behandelt lokaal ruisachtige of conflicterende structuren en zorgt ervoor dat het globale model de collectieve kennis van de federatie weerspiegelt.

2. Dynamische Architectuur-aanpassing:
   Het gedeelde CM wordt ontleed in modulaire componenten: een latente encoder, concept-specifieke encoders en een taakdecoder. Wanneer nieuwe clients toetreden of dataverdelingen verschuiven, waardoor eerder onbekende concepten of afhankelijkheden worden geïntroduceerd, past de architectuur zich modulair aan:

   • Uitbreiding: Nieuwe modules worden geïnstancierd voor nieuwe concepten.
   • Herschakeling: Als afhankelijkheden veranderen (bijvoorbeeld een nieuwe rand $C_i \to C_j$), wordt de input van de corresponderende module bijgewerkt.
   • Warm-Start: Bestaande parameters voor onaangetaste modules worden behouden, terwijl nieuwe parameters worden geïnitieerd (bijvoorbeeld met nullen of willekeurig). Dit vermijdt volledige hertraining en behoudt eerder geleerde kennis.

3. Module-specifieke Optimalisatie en Aggregatie:
   Om partiële supervisie te hanteren (waarbij een client mogelijk slechts een subset van concepten annotateert), maken F-CMs gebruik van een gemaskerde optimalisatiestrategie. Tijdens lokale training bevriezen clients modules voor variabelen die zij niet superviseren. Derhalve worden updates uitsluitend gegenereerd voor gesuperviseerde componenten. De server voert vervolgens module-gewijze aggregatie uit, waarbij parameters voor elke specifieke module alleen worden gemiddeld over de subset van clients die supervisie voor die variabele heeft aangeleverd. Dit zorgt ervoor dat het globale model heterogene supervisie integreert zonder clients te dwingen te optimaliseren voor concepten die zij niet kunnen waarnemen.

Belangrijkste Bijdragen

Het artikel introduceert F-CMs als de eerste methodologie om evoluerende conceptruimtes onder temporele non-stationariteit in FL aan te pakken door de modelstructuur aan te passen in plaats van uit te gaan van een vaste architectuur. De specifieke bijdragen zijn:

• Nieuwe Methodologie: Een systematische aanpak voor het inzetten van concept-gebaseerde architecturen in realistische federatieve omgevingen, die omgaat met heterogene, partiële conceptsupervisie en temporele non-stationariteit.
• Architecturale Flexibiliteit: F-CMs gaan voorbij aan de aanname van een vaste architectuur in standaard FL en laten toe dat de gedeelde modelstructuur zich tijdens training aanpast, waardoor integratie van architecturale interpreteerbaarheid mogelijk wordt.
• Privacybehoudende Kennisdeling: Vermindering van de annotatiebelasting bij individuele instellingen door aggregatie van conceptkennis over entiteiten heen zonder ruwe gegevens te delen.
• Empirische Validatie: Implementatie van F-CMs met vier verschillende CM-architecturen (CBM, CEM, CGM, C2BM) en validatie op synthetische Bayesiaanse netwerkbenchmarks en twee real-world medische beeldvormingsdatasets (SIIM-Pneumothorax en CheXpert).

Experimentele Resultaten

De auteurs evalueerden F-CMs tegenover centrale bovengrenzen, gelokaliseerde training, statische federatieve varianten (S-F-CMs) en state-of-the-art federatieve concept-leer baselines (FedCBM, FCL).

• Nauwkeurigheid en Dekking: F-CMs behaalden taaknauwkeurigheid en conceptdekking die vergelijkbaar waren met centrale training met volledige conceptsupervisie. In tegenstelling hieraan leden statische federatieve baselines en gelokaliseerde modellen onder aanzienlijke prestatiedalingen en slaagden ze er niet in concepten te dekken die door later toetredende clients werden geïntroduceerd.
• Effectiviteit van Interventies: F-CMs maakten interpreteerbare inferentie en effectieve interventies op concepten mogelijk die lokaal niet waren geannoteerd bij specifieke instellingen. Wanneer grondwaarheid-concepten werden geïntervenieerd, behielden F-CMs een hoge labelnauwkeurigheid, wat aantoont dat het model succesvol gebruikmaakt van gebundelde supervisie om te redeneren over concepten die het tijdens lokale training niet direct heeft waargenomen.
• Efficiëntie onder Non-stationariteit: In scenario's waarbij nieuwe clients onbekende concepten introduceerden, convergeerden F-CMs sneller en naar een lagere loss dan statische baselines. Cruciaal was dat F-CMs slechts een klein deel van de parameters hoefden bij te werken (bijvoorbeeld 8%–61%, afhankelijk van de setting) in vergelijking met 100% voor een volledige hertrainingsbaseline (S-F-CMs Reinit), wat een hoge aanpassingsefficiëntie aantoont.
• Robuustheid: Het kader toonde robuustheid tegen semantische onenigheid tussen clients en grafische perturbaties (ruis in door clients aangeleverde DAGs). De voorgestelde grafische aggregatiestrategie effectief gedenoist inconsistent lokaal voorgestelde voorstellen.
• Multimodale Uitbreiding: Een proof-of-concept uitbreiding toonde aan dat F-CMs heterogene inputmodaliteiten (bijvoorbeeld afbeeldingen en tekst) kunnen hanteren terwijl ze een gemeenschappelijke semantische conceptruimte delen.

Betekenis en Claims

Het artikel beweert dat F-CMs een significante stap voorwaarts zijn richting het schalen van interpreteerbare modellen, terwijl ze voldoen aan real-world beperkingen zoals gegevensprivacy, schaarste aan annotaties en dynamische implementatieomgevingen. Door de kloof te overbruggen tussen de statische aard van standaard FL en de structurele vereisten van CMs, maken F-CMs het mogelijk:

1. Interpreteerbare Inferentie op Onbekende Concepten: De mogelijkheid om interpreteerbare voorspellingen te doen voor concepten die niet zijn geannoteerd bij een specifieke client, een capaciteit die niet aanwezig is in bestaande statische federatieve benaderingen.
2. Duurzame Federatiegroei: Een mechanisme om nieuwe gegevensbronnen en supervisietypes te integreren zonder eerder geleerde kennis te verwerpen of de rekenkosten van volledige hertraining te incasseren.
3. Privacybehoudende Interpreteerbaarheid: Een weg om hoogwaardige semantische kennis over instellingen heen te aggregeren, waardoor de behoefte aan dure, gecentraliseerde conceptannotatie-inspanningen wordt verminderd.

De auteurs erkennen beperkingen, met name dat huidige CM-architecturen oorspronkelijk niet waren ontworpen voor evoluerende ruimtes, en toekomstig werk zou kunnen focussen op het ontwikkelen van federatie-bewuste CMs met grotere modulariteit. Zij benadrukken ook de noodzaak van verdere privacyanalyse met betrekking tot potentiële aanvalsoppervlakken die specifiek zijn voor concept-gebaseerde federatieve modellen.