🤖 machine learning

What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility

Dit artikel betoogt dat standaard evaluatiemetrieken voor Feedback Alignment (nauwkeurigheid en gradiënt-cosinusgelijkenis) onvoldoende zijn vanwege stille faalmodi zoals referentiegradiëntinstorting en aggregatiemasking, en stelt een nieuw diagnostisch protocol voor gebaseerd op schaalstabiliteit, referentivaliditeit en diepte-utiliteit om niet-functionele krediettoewijzing in diepe netwerken betrouwbaar te identificeren.

Oorspronkelijke auteurs: Yuren Hao, Xiang Wan, ChengXiang Zhai

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuren Hao, Xiang Wan, ChengXiang Zhai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team werkers (een diep neuraal netwerk) probeert te leren een puzzel op te lossen. De standaard manier om hen te onderwijzen is Backpropagation (BP). In deze methode stuurt de baas (de output) een perfect, gedetailleerd memo naar beneden door de hele keten, waarin precies staat wat ze fout hebben gedaan en hoe ze het moeten herstellen. Dit werkt geweldig, maar het vereist een zeer specifiek, rigide communicatiesysteem dat niet bestaat in de natuur (zoals het menselijk brein) en dat moeilijk te bouwen is op efficiënte computerchips.

Om dit op te lossen, hebben wetenschappers Feedback Alignment (FA) uitgevonden. In plaats van een perfect memo, stuurt de baas een "ruwe gok" met behulp van een vaste, willekeurige set instructies. Het idee is dat de werkers uiteindelijk zullen leren om de ruis te negeren en zelf de juiste richting te vinden.

De afgelopen tien jaar hebben onderzoekers gecontroleerd of deze "ruwe gok"-methoden werken door naar twee dingen te kijken:

Heeft het team een goede score op de puzzel behaald? (Nauwkeurigheid/Accuracy)
Wijs de "ruwe gok" ongeveer dezelfde richting aan als de "perfecte memo"? (Cosine Similarity)

Het Probleem:
Dit artikel betoogt dat het controleren van deze twee zaken lijkt op een defecte rookmelder. Ze kunnen vrolijk piepen terwijl het huis eigenlijk in brand staat. De auteurs ontdekten dat deze standaardcontroles een "groen licht" kunnen geven aan methoden die er in werkelijkheid niet in slagen om de diepe lagen van het netwerk te onderwijzen. Ze identificeerden twee "stille fouten" die de standaardcontroles missen:

1. De "Onzichtbare Vloer" Fout (Measurement Degeneracy)

De Analogie: Stel je voor dat je probeert de richting van een piepkleine mier te meten met een enorme, lomp instrument. Als de mier zo klein is dat hij kleiner is dan de kleinste markering op je liniaal, zegt je liniaal gewoon "nul" of "ruis". Je kunt niet zien of de mier naar het Noorden of het Zuiden wijst; je bent alleen de beperkingen van je eigen liniaal aan het meten.

Wat er in het artikel gebeurt:
In sommige moderne netwerkontwerpen wordt de "perfecte memo" (de referentiegradiënt) zo klein samengedrukt dat deze de "numerieke vloer" raakt (het kleinste getal dat de computer nog kan verwerken). Wanneer dit gebeurt, wordt de "ruwe goks" niet meer vergeleken met een echte richting, maar met computerris. De standaardcontrole zegt: "Hé, de hoek is positief!", maar het meet eigenlijk alleen maar statische elektriciteit. Het is also is zeggen dat een kompas werkt omdat de naald trilt, en niet omdat hij naar het Noorden wijst.

2. De "Eén-Werker-Held" Fout (Aggregation Collapse)

De Analogie: Stel je een estafette voor met 10 hardlopers. Je wilt weten of het hele team goed loopt. In plaats van iedereen te timen, tel je hun snelheden bij elkaar op en neem je het gemiddelde.

Scenario A: De eerste hardloper is een superster (zeer snel), maar de andere 9 slapen. De gemiddelde snelheid ziet er oké uit.
Scenario B: De laatste hardloper is een superster, maar de eerste 9 slapen. De gemiddelde snelheid is hetzelfde als in Scenario A.

Wat er in het artikel gebeurt:
De standaardcontrole neemt een "gemiddelde" van hoe goed het kredietssignaal over het hele netwerk uitgelijnd is. Maar in deze methoden werkt het signaal vaak alleen aan één uiteinde van het netwerk (ofwel aan het begin, ofwel aan het einde), terwijl de middelste lagen niets ontvangen. Het "gemiddelde" ziet er positief uit, waardoor verborgen blijft dat de diepe lagen (het midden van het team) volledig de weg kwijt zijn en niets leren.

De Oplossing: Een Nieuw "Gezondheidscheck"-Protocol

De auteurs stellen een nieuwe driestaps checklist voor om te controleren of het netwerk daadwerkelijk leert, en niet alleen maar doet alsof:

Controleer de "Stabiliteit" (Scale Stability): Worden de getallen binnen het netwerk extreem groot? Als de getallen te groot worden, is dat een teken dat het systeem instabiel is en dat de "perfecte memo" op het punt staat te worden verpletterd (wat leidt tot Fout #1).
Controleer de "Referentie" (Reference Validity): Is de "perfecte memo" wel groot genoeg om gemeten te worden? Als het te klein is (onder de ruisvloer van de computer), is de richtingcontrole betekenisloos.
Controleer de "Teamwork" (Depth Utility): Dit is de belangrijkste. "Bevries de middelste werkers." Train het netwerk, maar houd de diepe lagen bevroren in hun willekeurige begintoestand. Als het netwerk even goed presteert met bevroren diepe lagen als met getrainde lagen, dan doen de diepe lagen geen enkel werk. De "ruwe gok"-methode heeft hen niet weten te onderwijzen.

De Resultaten

Toen ze deze nieuwe checklist toepasten op Feedback Alignment-methoden:

De standaardcontroles zeiden: "Alles ziet er goed uit! Positieve hoeken, goede scores!"
De nieuwe checklist zei: "Stop! De diepe lagen leren niets. De referentie is te klein om te meten, of de middelste werkers slapen."

In sommige gevallen presteerden de "ruwe gok"-methoden zelfs slechter dan wanneer men de diepe lagen simpelweg bevroren en willekeurig zou laten. Ze schaden het netwerk actief, maar de oude controles zagen dat niet.

De Belangrijkste Les

Je kunt niet alleen naar de eindscore of één enkel "richtinggetal" kijken om te zien of een nieuwe leermethode werkt. Je moet dieper graven. Je moet ervoor zorgen dat de signalen niet te klein zijn om te meten, en je moet bewijzen dat de diepe lagen daadwerkelijk bijdragen aan de oplossing, en niet alleen maar meeliften. Zonder deze extra controles riskeren onderzoekers de toekomst van AI te bouwen op methoden die eigenlijk niet werken.

Technische Samenvatting: Wat nauwkeurigheid en gradiënt-cosinus missen

Probleemstelling

Ondanks het succes van deep learning blijft het trainen van diepe netwerken via biologisch plausibele en hardware-efficiënte mechanismen een openstaande uitdaging. Feedback Alignment (FA)-methoden pakken de beperkingen van backpropagation (BP) aan — specifiek gewichtssymmetrie en sequentiële updates — door backward-gewichten te vervangen door vaste willekeurige matrices. Hoewel FA en zijn variant, Direct Feedback Alignment (DFA), veelbelovend zijn gebleken bij het trainen van moderne architecturen zoals transformers, rust hun evaluatie op een standaard gerapporteerde paren: taaknauwkeurigheid en geaggregeerde cosinusgelijkenis tussen het credit-signaal van de methode en de BP-gradiënt.

Dit artikel betoogt dat dit standaard gerapporteerde paar onvoldoende is en methoden kan passeren die in werkelijkheid niet hebben bijgedragen aan het effectief trainen van de diepe lagen van een netwerk. De auteurs identificeren twee onafhankelijke faalmodi waarbij de standaardmetingen misleidend positieve signalen geven, terwijl het netwerk er niet in slaagt om nuttige credit-toewijzing te leren in de diepe lagen.

Methodologie en Diagnostisch Protocol

Om deze fouten te diagnosticeren, voerden de auteurs een gecontroleerde audit uit waarbij drie methoden (BP, FA en DFA) werden vergeleken op residuele architecturen (ResMLP, ViT-Mini, StudentNet) met identieke trainingsrecepten, die alleen verschilden in de regels voor credit-propagatie. Zij observeerden dat standaardmetingen er niet in slaagden te detecteren wanneer diepe blokken effectief ongebruikt of schadelijk waren.

Op basis van deze observaties stellen de auteurs een driestaps diagnostisch evaluatieprotocol voor om het standaard gerapporteerde paar te vervangen of aan te vullen:

Schaalstabiliteit (Diagnostiek 1): Meet de maximale per-blok residuele groei ( $\rho = \max_l \|h_{l+1}\|/\|h_l\|$ $ρ = max_{l} ∥ h_{l + 1} ∥/∥ h_{l} ∥$ ) aan het einde van de training.
- Drempelwaarde: Markeer als $\rho > 50$ .
- Doel: Detecteert "residuele stroom-explosie" (residual-stream explosion), een voorbode van gradiëntinstorting (gradient collapse).
Referentiegeldigheid (Diagnostiek 2): Meet de norm van de diepste BP-referentiegradiënt ( $\|g_L\|$ $∥ g_{L} ∥$ ).
- Drempelwaarde: Markeer als $\|g_L\| < 10 \cdot \epsilon$ (waarbij $\epsilon$ de denominator-vloer is van de cosinus-implementatie, doorgaans $10^{-8}$ voor fp32).
- Doel: Detecteert Degeneratie van de Meting. In architecturen met terminal-LayerNorm zorgt de explosie van de residuele stroom ervoor dat de BP-gradiënt wordt samengedrukt tot de numerieke vloer. Wanneer dit gebeurt, wordt de cosinusgelijkenis berekend tegenover drijvende-kommagetalsruis in plaats van een betekenisvolle richting, waardoor de metriek oninterpreteerbaar wordt.
Diepte-utiliteit (Diagnostiek 3): Berekent het verschil tussen de nauwkeurigheid van het getrainde model op de testset en een architectuur-gematchte baseline met bevroren blokken (waarbij de residuele blokken op een willekeurige initialisatie worden gehouden, en alleen de embedding, LayerNorm en de head worden getraind).
- Drempelwaarde: Markeer als het verschil onder de 2 procentpunten ligt.
- Doel: Detecteert of de getrainde diepte daadwerkelijk bijdraagt aan de voorspelling. Deze controle is noodzakelijk omdat zelfs geldige cosinusmetingen niet garanderen dat updates in de credit-richting resulteren in nuttige dieptetraining.

Het protocol verplicht ook het rapporteren van per-laag cosinus in plaats van geaggregeerde rapportage om het maskeren van laag-specifieke heterogeniteit te voorkomen.

Belangrijkste Bevindingen en Faalmodi

Het artikel identificeert twee causaal onafhankelijke faalmodi die de standaardmetingen missen:

Modus 1: Degeneratie van de Meting (Referentie-instorting).
- Mechanisme: In residuele architecturen met terminal-LayerNorm veroorzaakt de ongecontroleerde groei van de residuele stroom (gedreven door de lokale verliesvorm) dat de BP-referentiegradiënt invers krimpt. Uiteindelijk valt de gradiëntnorm onder de numerieke vloer van de cosinus-implementatie.
- Resultaat: De gerapporteerde cosinusgelijkenis wordt berekend tegenover een genormaliseerde drijvende-kommagetalsresiduele (ruis) in plaats van de ware BP-richting. Deze modus is prominent aanwezig in architecturen met terminal LayerNorm (bijv. ResMLP, ViT-Mini), maar afwezig in die zonder (bijv. StudentNet).
Modus 2: Aggregatie-instorting (Laag-specifieke Heterogeniteit).
- Mechanisme: De geaggregeerde cosinus middelt over per-laag cosinuswaarden die geconcentreerd zijn aan tegenovergestelde uiteinden van het netwerk. Bijvoorbeeld: FA is vaak uitgelijnd in de diepste lagen, terwijl DFA alleen in de ondiepste (embedding) lagen uitgelijnd is.
- Resultaat: De geaggregeerde cosinus lijkt positief, wat duidt op uitlijning, terwijl de diepe lagen (of ondiepe lagen, afhankelijk van de methode) nul uitgelijnde credit bijdragen.
Cosinus Voorspelt Geen Diepte-utiliteit.
- Zelfs wanneer Modus 1 wordt verlicht (via schaalstraffen) en de cosinusmeting geldig is, voorspelt een hoge cosinus-uitlijning niet of de diepe lagen de nauwkeurigheid verbeteren. De auteurs hebben dit aangetoond met "State Bridge" en "Credit Bridge" probes, die lieten zien dat methoden met een lagere cosinus-uitlijning een hogere nauwkeurigheid kunnen bereiken dan methoden met een hogere uitlijning.

Resultaten

De auteurs hebben het protocol gevalideerd over meerdere architecturen en instellingen:

Standaardmetingen Falen: In representatieve settings (bijv. ResMLP op CIFAR-10) rapporteerden FA en DFA een niet-triviale nauwkeurigheid en een positieve geaggregeerde cosinus. Echter, de standaardcombinatie gaf geen signaal dat deze methoden er niet in slaagden de frozen-blocks baseline te overtreffen.
Succes van het Protocol: Het voorgestelde protocol identificeerde alle fouten correct.
- DFA activeerde consistent Modus 1 (schaalexplosie en referentie-instorting) en de falende Diepte-utiliteit over architecturen met terminal LayerNorm.
- FA slaagde vaak voor de Modus 1-controles (referentie bleef geldig), maar faalde voor de Diepte-utiliteit-check, wat aangeeft dat hoewel de referentie meetbaar was, het credit-signaal de diepe lagen niet effectief trainde.
Causale Onafhankelijkheid: Een interventie met een straf (het toevoegen van een schaalstraf aan de lokale loss) verlichtte Modus 1 (herstel van referentiegeldigheid) zonder direct Modus 2 op te lossen (diepe-laag uitlijning bleef slecht). Dit bevestigde dat de twee faalmodi verschillend zijn en aparte diagnostiek vereisen.
Generaliseerbaarheid: De faalpatronen hielden stand over CIFAR-10 en CIFAR-100, en over de ResMLP en ViT-Mini architecturen.

Betekenis en Claims

Het artikel claimt dat het standaard evaluatieprotocol voor Feedback Alignment fundamenteel gebrekkig is voor diepe residuele architecturen. Door te vertrouwen op nauwkeurigheid en geaggregeerde cosinus, riskeren onderzoekers voort te bouwen op methoden waarbij de diepe lagen niet-functioneel of zelfs schadelijk zijn voor de prestaties.

De betekenis van dit werk ligt in:

Identificatie van Stille Fouten: Het legt twee onafhankelijke mechanismen bloot (degeneratie van de meting en aggregatie-instorting) die de standaardmetingen informatiefloos maken.
Het Bieden van een Diagnostisch Protocol: Het biedt een concreet, actiegericht pakket aan controles (Schaalstabiliteit, Referentiegeldigheid, Diepte-utiliteit) die beoefenaars kunnen gebruiken om te verifiëren of een FA-methode daadwerkelijk diepe lagen traint voordat ze opschalen of implementeren.
Verduidelijking van de Rol van Cosinus: Het stelt vast dat cosinus-uitlijning naar de BP-gradiënt, zelfs wanneer deze geldig wordt gemeten, geen voldoende proxy is voor de functionele utiliteit van dieptetraining.

De auteurs benadrukken dat het passeren van het protocol niet betekent dat een methode een universele vervanging voor backpropagation is gecertificeerd, maar dat het falen ervan aangeeft dat de methode de specifieke geteste diepe lagen van de architectuur niet succesvol heeft getraind. Het werk beoogt te voorkomen dat het vakgebied niet-functionele credit-toewijzingsmechanismen opschaalt.