X-REFINE: XAI-based RElevance input-Filtering and archItecture fiNe-tuning for channel Estimation

Het artikel introduceert X-REFINE, een XAI-framework dat door middel van sign-gestabiliseerde LRP-relevantie-analyse zowel inputfiltering als architectuurfine-tuning combineert om de interpretatie, prestaties en complexiteit van kanaalschatting in 6G-netwerken te optimaliseren.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze kok hebt die voor je kookt. Deze kok (een kunstmatige intelligentie) is fantastisch in het voorspellen van hoe het weer is op basis van de wind, maar niemand weet precies waarom hij bepaalde ingrediënten gebruikt. Hij werkt als een "zwarte doos": je ziet wat erin gaat en wat eruit komt, maar het proces zelf is ondoorzichtig.

In de wereld van 6G (de volgende generatie mobiele netwerken) moeten deze koks heel snel en betrouwbaar zijn, bijvoorbeeld voor zelfrijdende auto's. Maar als je niet weet hoe ze werken, durf je ze misschien niet te vertrouwen.

Dit artikel introduceert een nieuwe methode genaamd X-REFINE. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te veel ruis en een te grote keuken

Stel je voor dat de kok een enorme berg ingrediënten krijgt (duizenden subcarriers in een signaal). Veel daarvan zijn echter rotte groenten of gewoon ruis. De huidige methoden proberen te zeggen: "Gebruik deze goede groenten," maar ze kijken niet naar de keuken zelf. De keuken is misschien te groot, met te veel koks die niets doen, wat tijd en energie kost.

2. De Oplossing: X-REFINE (De Slimme Keukenmanager)

X-REFINE is als een super-slimme keukenmanager die twee dingen tegelijk doet:

• De Ingrediënten filteren (Input Filtering): Hij kijkt naar elke groente en zegt: "Deze is vers en belangrijk, gebruik hem." Of: "Deze is rot of maakt de soep wazig, gooi hem weg."
• De Keuken inrichten (Architectuur Fine-tuning): Hij kijkt naar de koks in de keuken. "Jij bent een topkok, blijf werken. Jij doet niets nuttigs, ga naar huis." Zo wordt het team kleiner en efficiënter, zonder dat de kwaliteit van de soep (de data) verslechtert.

3. Hoe werkt het? (De "Rijpheidstest")

Hoe weet de manager welke ingrediënten goed zijn?

• Oude methode (XAI-CHEST): Dit was alsof je een kok een beetje zout of peper toevoegt om te zien of de smaak verandert. Het is een beetje giswerk en kan de smaak verstoren.
• Nieuwe methode (X-REFINE): Deze kijkt in de keuken. Hij gebruikt een techniek die lijkt op het terugrekenen van een recept. Hij vraagt: "Als dit gerecht perfect is, welk ingrediënt heeft daar het meest aan bijgedragen?"
  • Hij gebruikt een speciale "stabilisator" (een soort veiligheidsnetje) zodat hij niet in de war raakt door de complexe kleuren van de ingrediënten (in de wiskunde: complexe getallen).
  • Hij geeft een score aan elk ingrediënt en elke kok.
    • Hoge score: "Dit is cruciaal!" (Bijvoorbeeld de pilot-signalen, de basis van het signaal).
    • Nul score: "Dit doet niets."
    • Negatieve score: "Dit is schadelijk! Dit maakt de soep vies." (Deze gooit hij direct weg).

4. Het Resultaat: Sneller, slimmer en goedkoper

Door alleen de beste ingrediënten te gebruiken en de overbodige koks te ontslaan, gebeurt er iets magisch:

• De soep smaakt nog beter (of net zo goed): De kwaliteit van de communicatie (Bit Error Rate) blijft uitstekend, zelfs in zware omstandigheden (zoals hoge snelheid of veel storing).
• De rekening wordt veel lager: Omdat de keuken kleiner is en minder ingrediënten nodig heeft, kost het rekenen veel minder energie en tijd. In de test bleek dat X-REFINE tot wel 62% minder rekenkracht nodig had dan de oude, volle systemen.

Samenvattend

X-REFINE is als het geven van een spiegel aan een kunstmatige intelligentie. In plaats van blindelings te vertrouwen op een grote, trage machine, kijken we precies wat er belangrijk is. We gooien het onnodige weg, houden de essentie over en krijgen zo een systeem dat sneller, zuiniger en transparanter is. Dit is een grote stap voor de toekomst van 6G, waar snelheid en betrouwbaarheid alles zijn.

Technische samenvatting

Probleemstelling

De overgang naar AI-native architecturen voor 6G-draadloze communicatie vereist modellen die betrouwbaar, veilig en transparant zijn. Deep Learning (DL)-modellen, zoals Feed-forward Neural Networks (FNN's), worden gebruikt voor kanaalschatting (bijvoorbeeld in V2X-communicatie) om ruis te verwijderen en de prestaties te verbeteren ten opzichte van klassieke methoden. Echter, deze modellen fungeren vaak als "black boxes", wat hun inzet in kritieke toepassingen beperkt waar vertrouwen en uitlegbaarheid essentieel zijn.

Bestaande oplossingen voor Explainable AI (XAI), zoals het eerder door de auteurs voorgestelde XAI-CHEST, gebruiken perturbatie-gebaseerde methoden om irrelevante invoer te filteren. Een belangrijk nadeel van deze aanpak is dat ze zich alleen richten op het filteren van de invoer, terwijl ze de interne structuur van het model negeren. Het optimaliseren van alleen de invoer zonder het model zelf te vereenvoudigen, leidt niet tot de beste balans tussen interpretatie, prestaties en complexiteit. Er is behoefte aan een methode die zowel de invoer als de modelarchitectuur gezamenlijk optimaliseert.

Methodologie: Het X-REFINE Framework

De auteurs stellen X-REFINE voor, een XAI-framework dat gebaseerd is op decompositie en dat een gezamenlijke optimalisatie uitvoert van de invoer (input filtering) en de architectuur (architectural fine-tuning/pruning).

1. Decompositie-gebaseerde XAI (LRP-ϵ):
In tegenstelling tot perturbatie-methoden, gebruikt X-REFINE de Sign-Stabilized Layer-wise Relevance Propagation (LRP)-ϵ regel.

• Principe: De voorspelling van het model wordt teruggepropageerd (backpropagated) naar de invoer en de verborgen neuronen.
• Sign-Stabilisatie: Omdat kanaalschatting een complex-waardige regressie is, wordt de relevantie geïnitieerd als de norm van de output ($|\hat{h}|$). Dit voorkomt dat faseverschillen leiden tot negatieve scores die de attributie verstoren.
• Formule: De relevantie $R_i^{(l)}$ van een neuron wordt berekend door de bijdragen van de volgende laag te verdelen, waarbij een stabilisator $\epsilon$ wordt gebruikt om numerieke instabiliteit te voorkomen wanneer de som van de gewichten bijna nul is.

2. Dubbele Optimalisatie (Double Optimization):
Het framework lost een dubbel optimalisatieprobleem op om twee maskers te vinden:

• Invoer-masker ($m_{in}^*$): Filtert subcarriers op basis van een drempelwaarde ($\tau$) voor de relevantie-scores. Subcarriers met lage of negatieve relevantie worden verwijderd.
• Architectuur-masker ($m_{arch}^*$): Prunt neuronen in de verborgen lagen op basis van percentielen ($P$) van de relevantie-scores. Dit zorgt voor structurele verdunning (pruning) zonder dat de laag instort.

3. Zoekstrategie:
Vanwege de discrete en niet-convexe aard van het probleem, wordt een gestructureerde numerieke grid search uitgevoerd over verschillende drempelwaarden ($\tau$) en percentielen ($P$). Het doel is om de combinatie te vinden die de MSE (Mean Squared Error) minimaliseert en de BER (Bit Error Rate) onder een bepaalde drempel houdt, terwijl de FLOPs (Floating Point Operations) geminimaliseerd worden.

Belangrijkste Bijdragen

1. X-REFINE Framework: Een nieuw XAI-systeem dat LRP-ϵ gebruikt om zowel relevante invoer (subcarriers) als relevante modelcomponenten (neuronen) te identificeren.
2. Analytische en Simulatie-uitbreiding: Het afleiden van analytische uitdrukkingen en het uitvoeren van simulaties voor de gezamenlijke optimalisatie van invoer en architectuur.
3. Prestatie-Complexiteit Trade-off: Het aantonen dat het gebruik van een subset van relevante invoer en neuronen de rekencomplexiteit aanzienlijk verlaagt zonder de robuustheid van de BER-prestaties te verliezen.

Resultaten

De prestaties van X-REFINE zijn geëvalueerd in een OFDM-systeem met hoge mobiliteit (VTV-scenario's) en verschillende frequentie-selectiviteiten (LF en HF), gebruikmakend van QPSK en 64QAM modulatie.

• Interpretatie en Relevantie: X-REFINE levert een scherpere en betrouwbaardere relevantie-toewijzing dan XAI-CHEST. Het identificeert correct dat pilot-subcarriers essentieel zijn (hoge relevantie). Bij hogere modulatieordes (64QAM) negeert het model meer vervormde invoer (neutrale subcarriers) dan bij QPSK.
• BER-Prestaties:
  • In LF-scenario's (lage frequentie-selectiviteit) levert het gebruik van alleen pilot-subcarriers de beste BER.
  • X-REFINE behoudt een robuuste BER-prestatie zelfs bij aanzienlijke architectuurpruning. Bij QPSK kon de architectuur worden gereduceerd van (15-15-15) naar (14-11-09) zonder kwaliteitsverlies.
• Rekencomplexiteit:
  • X-REFINE bereikt een aanzienlijke reductie in FLOPs. Voor QPSK in LF-scenario's is de totale complexiteitsreductie 62,41% (in vergelijking met het volledige model), terwijl XAI-CHEST slechts 39,51% haalde (alleen invoerfiltering).
  • In HF-scenario's (hogere complexiteit) is de reductie iets lager, maar nog steeds superieur aan XAI-CHEST (bijv. 43,59% vs 32,93% voor 64QAM).

Betekenis en Conclusie

X-REFINE biedt een doorbraak in het implementeren van AI in 6G-netwerken door de "black box" aard van deep learning aan te pakken. Door niet alleen de invoer te filteren, maar ook de interne architectuur te optimaliseren op basis van interne relevantie-scores, bereikt het framework een superieure balans tussen:

1. Interpreteerbaarheid: Het model wordt transparanter door te laten zien welke subcarriers en neuronen echt belangrijk zijn.
2. Prestaties: De Bit Error Rate blijft robuust in diverse scenario's.
3. Efficiëntie: De rekencomplexiteit wordt drastisch verlaagd, wat essentieel is voor resource-beperkte draadloze systemen met lage latentie-eisen.

De studie concludeert dat X-REFINE een robuuste oplossing is voor het inzetten van hoogpresterende deep learning-modellen in toekomstige 6G-communicatiesystemen, en opent de weg voor verdere onderzoek naar recurrente netwerken (RNN's) en andere XAI-methoden.