Assessing the Energy and Carbon Emissions of Neural Speaker Verification Model in Training and Inference

Resumen Técnico: Evaluación de la Energía y las Emisiones de Carbono de los Modelos de Verificación de Locutor Neurales en el Entrenamiento y la Inferencia

Declaración del Problema
Los sistemas de verificación de locutor (SV, por sus siglas en inglés) basados en aprendizaje profundo dependen cada vez más de arquitecturas de redes neuronales profundas, como ResNet, para extraer embeddings de locutor discriminativos. Si bien la profundidad arquitectónica ha aumentado de 9 a más de 290 capas para mejorar el rendimiento, esta tendencia introduce compromisos significativos con respecto a los requisitos de memoria, el tiempo de ejecución y el impacto ambiental. A pesar de los conocidos costos financieros y ecológicos de entrenar modelos grandes, existe una falta de estudios publicados que analicen específicamente el compromiso entre el rendimiento de la verificación de locutor, el consumo de energía y la huella de carbono. La literatura existente ha abordado estos factores en el Reconocimiento Automático del Habla (ASR) y la comprensión del lenguaje hablado, pero la verificación de locutor sigue estando poco explorada en este contexto.

Metodología
Los autores realizaron una evaluación sistemática de arquitecturas de SV basadas en ResNet entrenadas con el conjunto de datos VoxCeleb2. El estudio varió tres dimensiones estructurales clave:

1. Profundidad: Escalamiento del número de capas desde 18 hasta 419 (ResNet-X-D).
2. Anchura: Ajuste del número de mapas de características mediante multiplicadores (ResNet-50-Wx).
3. Distribución de Etapas: Redistribución de los bloques residuales a través de las cuatro etapas de la red manteniendo la profundidad total constante (ResNet-50-D[a,b,c,d]).

Medición Ambiental:
El consumo de energía y las emisiones de carbono se midieron utilizando el Compute Energy and Emissions Monitoring Stack (CEEMS). Esta herramienta recopila datos detallados de los sensores de hardware a nivel de nodo, específicamente el Intel's Running Average Power Limit (RAPL) para CPU/DRAM y los Baseboard Management Controllers (vía IPMI-DCMI) para componentes más amplios del sistema. La huella de carbono se estimó convirtiendo el uso de energía (kWh) en equivalentes de CO2 (CO2eq) utilizando factores de emisión en tiempo real de la red eléctrica francesa (RTE eCO2), la cual tiene una baja intensidad de carbono (~50 gCO2/kWh).

Configuración Experimental:
Los modelos se entrenaron utilizando la herramienta Kiwano con aumentación de datos estándar (MUSAN, RIRs, SpecAugment) y pérdida AAM. La evaluación se realizó en conjuntos de datos de dominio interno (VoxCeleb1-O, E, H) y conjuntos de datos de dominio externo (CommonBench, CN-Celeb) utilizando la Tasa de Error Igual (EER) y la Función de Costo de Detección Mínima (minDCF) como métricas de rendimiento. Los costos de inferencia también se midieron en el conjunto de datos CommonBench bajo las precisiones FP32 y FP16.

Resultos Clave

• Rendimientos Decrecientes en la Profundidad: El aumento de la profundidad de la red mejora el rendimiento, pero con rendimientos decrecientes rápidos. Pasar de ResNet-18 a ResNet-101/200 genera ganancias significativas, pero la transición de ResNet-200 a ResNet-419 resulta en mejoras de precisión marginales (por ejemplo, la EER promedio cae solo de 3.44% a 3.35%) mientras que el consumo de energía se cuadruplica (de ~222 kWh a ~896 kWh).
• Escalamiento de Anchura: La expansión moderada de la anchura (por ejemplo, ResNet-50-W2) ofrece ligeras ganancias en el dominio interno, pero no logra generalizar consistentemente a datos fuera del dominio. El ensanchamiento extremo (ResNet-50-W4) proporciona beneficios de rendimiento insignificantes sobre la línea base mientras aumenta drásticamente el uso de energía y las emisiones de carbono. Por el contrario, las variantes más estrechas (por ejemplo, ResNet-50-W0.5) reducen significativamente el consumo de energía manteniendo una precisión competitiva.
• Distribución de Etapas: Concentrar los bloques residuales en las etapas intermedias (etapas 2 y 3) mejora el compromiso entre rendimiento y eficiencia. Las variantes como ResNet-50-D[2,8,2,2] y ResNet-50-D[2,6,6,2] logran EER más bajas que la línea base ResNet-50-D con menos parámetros y un consumo de energía ligeramente reducido. Por el contrario, concentrar los bloques en las primeras o últimas etapas degrada el rendimiento.
• Eficiencia de Inferencia: Los costos de inferencia son significativamente menores que los de entrenamiento, pero siguen siendo no despreciables a escala. Cambiar a la precisión FP16 genera ahorros de energía del 25 al 35% y una reducción en el tiempo de ejecución sin pérdida de rendimiento. El modelo más grande (ResNet-419) emite casi seis veces más CO2 que el más pequeño (ResNet-18) durante la inferencia en grandes conjuntos de datos.

Contribuciones Clave

1. Comparación Exhaustiva: El artículo proporciona una comparación detallada de las variantes de ResNet al variar sistemáticamente la profundidad, la anchura y la distribución de bloques para caracterizar los compromisos entre el rendimiento de SV y el impacto ambiental.
2. Evaluación de Dominio Cruzado: Los modelos fueron evaluados tanto en conjuntos de prueba de dominio interno como de dominio externo, vinculando las métricas de rendimiento directamente con el consumo de energía medido y la huella de carbono.
3. Directrices Accionables: El estudio identifica configuraciones específicas que ofrecen el mejor equilibrio entre precisión, energía y emisiones, proporcionando recomendaciones concretas para diseñar sistemas de SV sostenibles.

Significancia y Recomendaciones
El artículo concluye que evaluar los sistemas de SV basándose únicamente en métricas de rendimiento (EER, minDCF) es insuficiente. Los autores abogan por un cambio hacia un diseño consciente de la energía. Sus hallazgos sugieren:

• Arquitecturas Óptimas: Los modelos equilibrados de tamaño medio, como ResNet-34-D y ResNet-50-D, representan el "punto ideal" (sweet spot), ofreciendo una fuerte precisión con un consumo de energía un orden de magnitud inferior al de los modelos muy profundos.
• Escenarios con Restricciones de Recursos: Se recomiendan las variantes más estrechas (por ejemplo, ResNet-50-W0.5) para escenarios donde la energía y la huella de carbono son las restricciones primarias.
• Estrategia de Diseño: Reasignar los bloques residuales hacia las etapas intermedias es una estrategia más efectiva para la eficiencia que concentrar la capacidad en las etapas iniciales o finales.
• Evitar el Exceso: Los modelos muy profundos (más allá de ResNet-200) y las variantes extremadamente anchas deben evitarse a menos que sus ganancias marginales de rendimiento justifiquen claramente el desproporcionado costo ambiental.

El estudio enfatiza que, si bien las redes más profundas capturan información más discriminativa, el costo ambiental del entrenamiento y la inferencia a menudo supera las ganancias marginales en la precisión de la verificación, lo que requiere un enfoque más sostenible para la selección y el despliegue de modelos.