Assessing the Energy and Carbon Emissions of Neural Speaker Verification Model in Training and Inference

Technische Samenvatting: Beoordeling van de Energie en Koolstofemissies van Neurale Spraakverificatiemodellen tijdens Training en Inferentie

Probleemstelling
Deep-learning spraakverificatiesystemen (SV) vertrouwen steeds vaker op diepe neurale netwerkbackbones, zoals ResNet, om discriminerende spraak-embeddings te extraheren. Hoewel de architecturale diepte is toegenomen van 9 naar meer dan 290 lagen om de prestaties te verbeteren, introduceert deze trend aanzienlijke afwegingen met betrekking tot geheugeneisen, runtime en de milieu-impact. Ondanks de bekende financiële en ecologische kosten van het trainen van grote modellen, is er een gebrek aan gepubliceerde studies die specifiek de afweging tussen spraakverificatieprestaties, energieverbruik en de koolstofvoetafdruk analyseren. Bestaande literatuur heeft deze factoren behandeld in Automatic Speech Recognition (ASR) en spoken language understanding, maar SV blijft in deze context onderbelicht.

Methodologie
De auteurs voerden een systematische evaluatie uit van ResNet-gebaseerde SV-architecturen getraind op de VoxCeleb2-dataset. De studie varieerde drie belangrijke structurele dimensies:

1. Diepte: Het schalen van het aantal lagen van 18 naar 419 (ResNet-X-D).
2. Breedte: Het aanpassen van het aantal feature maps via multipliers (ResNet-50-Wx).
3. Stage Distributie: Het herverdelen van residual blocks over de vier stadia van het netwerk terwijl de totale diepte constant blijft (ResNet-50-D[a,b,c,d]).

Milieumeting:
Energieverbruik en koolstofemissies werden gemeten met behulp van de Compute Energy and Emissions Monitoring Stack (CEEMS). Dit hulpmiddel verzamelt fijnmazige gegevens van hardware sensoren op nodeniveau, specifiek Intel's Running Average Power Limit (RAPL) voor CPU/DRAM en Baseboard Management Controllers (via IPMI-DCMI) voor bredere systeemcomponenten. De koolstofvoetafdruk werd geschat door energieverbruik (kWh) om te zetten in CO2-equivalenten (CO2eq) met behulp van real-time emissiefactoren van het Franse elektriciteitsnet (RTE eCO2), dat een lage koolstofintensiteit heeft (~50 gCO2/kWh).

Experimentele Opstelling:
Modellen werden getraind met de Kiwano toolkit met standaard data-augmentatie (MUSAN, RIRs, SpecAugment) en AAM loss. Evaluatie werd uitgevoerd op in-domain datasets (VoxCeleb1-O, E, H) en out-of-domain datasets (CommonBench, CN-Celeb) met behulp van Equal Error Rate (EER) en minimum Detection Cost Function (minDCF) als prestatiemetrieken. Inferentiekosten werden ook gemeten op de CommonBench-dataset onder zowel FP32 als FP16 precisie.

Belangrijkste Resultaten

• Verminderde Meeropbrengst bij Diepte: Het vergroten van de netwerkdiepte verbetert de prestaties, maar met snel afnemende meeropbrengsten. De overgang van ResNet-18 naar ResNet-101/200 levert significante winst op, maar de transitie van ResNet-200 naar ResNet-419 resulteert in marginale verbeteringen in nauwkeurigheid (bijv. een gemiddelde EER-daling van slechts 3,44% naar 3,35%) terwijl het energieverbruik verviervoudigt (van ~222 kWh naar ~896 kWh).
• Breedte Schaling: Matige verbreding (bijv. ResNet-50-W2) biedt lichte in-domain winst, maar faalt in het consistent generaliseren naar out-of-domain data. Extreme verbreding (ResNet-50-W4) biedt verwaarloosbare prestentiewinst ten opzichte van de baseline, terwijl het het energieverbruik en de koolstofemissies drastisch verhoogt. Omgekeerd verminderen smallere varianten (bijv. ResNet-50-W0.5) het energieverbruik aanzienlijk terwijl ze een concurrerende nauwkeurigheid behouden.
• Stage Distributie: Het concentreren van residual blocks in de tussenliggende stadia (stadia 2 en 3) verbetert de prestatie-efficiëntie-afweging. Varianten zoals ResNet-50-D[2,8,2,2] en Resेक-50-D[2,6,6,2] bereiken lagere EERs dan de baseline ResNet-50-D met minder parameters en een licht verminderd energieverbruik. Daarentegen verslechtert het concentreren van blocks in de eerste of laatste stadia de prestaties.
• Inferentie Efficiëntie: Inferentiekosten zijn aanzienlijk lager dan training, maar blijven op schaal niet verwaarloosbaar. Het overstappen naar FP16-precisie levert 25–35% energiebesparing op en een verminderde runtime zonder prestatieverlies. Het grootste model (ResNet-419) stoot bijna zes keer meer CO2 uit dan het kleinste model (ResNet-18) tijdens inferentie op grote datasets.

Belangrijkste Bijdragen

1. Uitgebreide Vergelijking: Het artikel biedt een gedetailleerde vergelijking van ResNet-varianten door systematisch diepte, breedte en blockdistributie te variëren om de afwegingen tussen SV-prestaties en milieu-impact te karakteriseren.
2. Cross-Domein Evaluatie: Modellen werden geëvalueerd op zowel in-domain als out-of-domain testsets, waarbij prestatiemetrieken direct gekoppeld werden aan gemeten energieverbruik en koolstofvoetafdruk.
3. Actiegerichte Richtlijnen: De studie identificeert specifieke configuraties die de beste balans bieden tussen nauwkeurigheid, energie en emissies, en biedt concrete aanbevelingen voor het ontwerpen van duurzame SV-systemen.

Betekenis en Aanbevelingen
Het artikel concludeert dat het uitsluitend evalueren van SV-systemen op basis van prestatiemetrieken (EER, minDCF) onvoldoende is. De auteurs pleiten voor een verschuiving naar energiebewust ontwerp. Hun bevindingen suggereren:

• Optimale Architecturen: Gebalanceerde, middelgrote modellen zoals ResNet-34-D en ResNet-50-D vertegenwoordigen het "sweet spot", waarbij ze sterke nauwkeurigheid bieden met een energieverbruik dat een orde van grootte lager is dan die van zeer diepe modellen.
• Resource-Beperkte Scenario's: Smallere varianten (bijv. ResNet-50-W0.5) worden aanbevolen voor scenario's waar energie en koolstofvoetafdruk primaire beperkingen zijn.
• Ontwerpstrategie: Het herverdelen van residual blocks naar de tussenliggende stadia is een effectievere strategie voor efficiëntie dan het concentreren van capaciteit in de vroegste of laatste stadia.
• Vermijden van Excessen: Zeer diepe modellen (voorbij ResNet-200) en extreem brede varianten moeten worden vermeden, tenzij hun marginale prestatiewinsten de disproportionele milieukosten duidelijk rechtvaardigen.

De studie benadrukt dat hoewel diepere netwerken meer discriminerende informatie vastleggen, de milieukosten van training en inferentie vaak zwaarder wegen dan de marginale winst in verificatienauwkeurigheid, wat een duurzamere aanpak bij de selectie en implementatie van modellen noodzakelijk maakt.