Technische Samenvatting: Nauwkeurige en Efficiënte Federated Continual Learning (FedRAN)

1. Probleemstelling

Federated Continual Learning (FCL) beoogt een globaal model te trainen over gedistribueerde clients die sequentiële stromen van niet-stationaire data ontvangen (bijv. nieuwe klassen of domeinen), terwijl de ruwe data lokaal blijft. Bestaande FCL-methoden kampen met een kritieke bottleneck: ze vertrouwen op iteratieve lokale optimalisatie, replay-mechanismen of volledige supervisie, wat hoge kosten met zich meebrengt voor communicatie, berekening, geheugen en de beschikbaarheid van labels.

Wanneer data niet-IID is (ongelijk verdeeld over clients) en de middelen beperkt zijn, lijden standaard optimalisatiegebaseerde benaderingen onder:

• Hoge Communicatieoverhead: Herhaalde transmissie van modelupdates over meerdere rondes.
• Feature Drift: Het updaten van gedeelde feature extractors op niet-IID data zorgt ervoor dat de representatie van eerder geziene data verschuift, wat de prestaties op oude taken verslechtert.
• Labeltekort: Veel praktische implementaties missen voldoende gelabelde data voor elke binnenkomende sample.
• Nauwkeurigheid-Resource Afweging: Analytische methoden (die iteratieve training vermijden) vereisen vaak het verzenden van volledige tweede-orde statistieken (Gram-matrices), wat leidt tot kwadratische communicatiekosten ten opzichte van de feature-dimensie.

2. Methodologie: FedRAN

De auteurs stellen FedRAN voor, een resource-bewust analytisch FCL-framework dat iteratieve gradiëntgebaseerde updates vervangt door compacte random-feature statistieken en closed-form classifier oplossingen.

Kernarchitectuur

• Frozen Backbone: Clients gebruiken een vaste, vooraf getrainde feature extractor (bijv. ResNet-18 of ViT). Er vindt geen backpropagation plaats aan de client-zijde, wat feature drift elimineert en de berekening vermindert.
• Random Feature Mapping: Clients mappen geëxtraheerde features naar een hoog-dimensionale random feature ruimte met behulp van een gedeelde random projectiematrix $P$ gevolgd door een ReLU-niet-lineariteit. Dit verbetert de feature-scheidbaarheid.
• Compacte Statistieken: In plaats van volledige modelgewichten of volledige Gram-matrices ($M \times M$) te verzenden, berekenen en verzenden clients:
  1. Exacte Label-Feature Statistiek ($B_{k,t}$): De som van random features gewogen door labels ($H^T Y$).
  2. Low-Rank Spectrale Samenvatting: Een afgekapte Singular Value Decomposition (SVD) van de lokale random-feature Gram-matrix ($H^T H$). Clients verzenden alleen de dominante singuliere vectoren ($V$) en singuliere waarden ($\sigma$) tot een rang $r$.

Server-Zijde Aggregatie

De server voert een twee-niveau QR-SVD subspace merge uit:

1. Spatial Merge: Aggregeert low-rank samenvattingen van alle clients voor de huidige taak.
2. Temporal Merge: Aggregeert de samenvatting van de huidige taak met de globale geschiedenis van taken.
   Dit proces gebruikt een QR-SVD update om een begrensde globale spectrale subspace te behouden zonder de volledige $M \times M$ matrix te materialiseren. De complexiteit per merge is $O(Mr^2 + r^3)$.

Closed-Form Classifier

De globale classifier wordt analytisch opgelost binnen de behouden spectrale subspace met behulp van een ridge regressie formulering:
$$\tilde{W} = (\text{diag}(\sigma^2) + \lambda I)^{-1} V^T B$$
De uiteindelijke classifier is $W = V\tilde{W}$. Dit vermijdt matrixinversie van grootte $M \times M$, waardoor het wordt teruggebracht tot een diagonale inversie van grootte $r \times r$.

Omgaan met Labeltekort (FedRAN-SSL)

Om het tekort aan labels aan te pakken, introduceert het framework prototype-gebaseerde pseudo-labeling:

• Clients berekenen klasse-prototypes van gelabelde data in de frozen feature ruimte.
• Ongelabelde samples krijgen een pseudo-label als hun cosinus-gelijkenis met een prototype een vertrouwensdrempel $\tau$ overschrijdt.
• Deze zelfverzekerde pseudo-gelabelde samples worden opgenomen in de label-feature statistiek $B$, waardoor ongelabelde data kan bijdragen aan de analytische update zonder iteratieve trainingsloops.

3. Belangrijkste Bijdragen

1. FedRAN Framework: Een nieuw analytisch FCL-systeem dat iteratieve client-training vervangt door forward-only random-feature statistieken en closed-form updates.
2. Twee-niveau QR-SVD Merge: Een mechanisme om low-rank afgekapte SVD-samenvattingen ruimtelijk (over clients heen) en temporeel (over taken heen) te aggregeren, wat het behoud van de dominante tweede-orde geometrie mogelijk maakt zonder kwadratische communicatiekosten.
3. Theoretische Grenzen: De auteurs bieden deterministische grenzen die de benaderingsfout van de Gram-matrix en de classifier relateren aan de behouden spectrale subspace rang, waarmee wordt bewezen dat de fout een controleerbare grootheid is in plaats van een schattingsvariantie.
4. Label-Efficiënte Uitbreiding: Een prototype-gebaseerde pseudo-labeling variant (FedRAN-SSL) die ongelabelde data effectief benut onder beperkte supervisie.
5. Empirische Validatie: Uitgebreide evaluatie die superieure nauwkeurigheid, aanzienlijk verminderde communicatie en snellere trainingstijden aantoont vergeleken met state-of-the-art baselines.

4. Experimentele Resultaten

Geëvalueerd op CIFAR-100, ImageNet-R en VTAB onder niet-IID instellingen (Dirichlet distributie $\beta \in [0.1, 1.0]$):

• Nauwkeurigheid: FedRAN verbetert de gemiddelde nauwkeurigheid met tot wel 4,8 procentpunt ten opzichte van de sterkste analytische baseline (STSA) en presteert aanzienlijk beter dan optimalisatiegebaseerde baselines (bijv. Finetune, FedLwF).
• Communicatie-efficiëntie: FedRAN vermindert de per-client communicatie met 30,6× tot 121,8× vergeleken met optimalisatiegebaseerde methoden (die volledige modelupdates verzenden) en is efficiënter dan first-order analytische methoden (STSA) door het verzenden van low-rank spectrale samenvattingen in plaats van geschatte klasse-statistieken.
• Computatiesnelheid: FedRAN is gemiddeld 190,3× sneller dan gradiëntgebaseerde baselines omdat het iteratieve backpropagation en meerdere communicatierondes vermijdt.
• Labeltekort: Met slechts 20% gelabelde data verbetert de pseudo-labeling variant de gemiddelde nauwkeurigheid met tot wel 6,61 punten vergeleken met het gebruik van enkel gelabelde data.
• Robuustheid: De methode blijft stabiel bij variërende graden van niet-IID data-skew ($\beta$), terwijl optimalisatiegebaseerde methoden significante prestatieverslechtering laten zien naarmate de skew toeneemt.

5. Betekenis en Claims

Het artikel beweert dat FedRAN een onderscheidend en optimaal punt inneemt in de FCL-ontwerpplek door:

• Nauwkeurigheid te ontkoppelen van Resourcekosten: Het bereikt een hoge nauwkeurigheid door tweede-orde feature statistieken te behouden (via low-rank SVD) zonder de kwadratische communicatiekosten van volledige Gram-matrices te dragen.
• Representaties te Stabiliseren: Door de backbone te bevriezen, elimineert het client-geïnduceerde feature drift, een veelvoorkomende faalmodus in federated continual learning.
• Inzetbaarheid bij Beperkte Middelen Mogelijk te Maken: Het maakt FCL haalbaar voor scenario's met beperkte bandbreedte, rekenkracht en labelbronnen, zoals klinische beeldvorming of remote sensing, waar iteratieve training onpraktisch is.

De auteurs concluderen dat FedRAN "nauwkeurige en resource-efficiënte FCL mogelijk maakt onder beperkingen van communicatie, berekening en labels," en daarmee een praktisch alternatief biedt voor iteratieve optimalisatie voor gedistribueerde, sequentiële leertaken.