Resumen Técnico: Adaptación de Modelos de Voz y Bioacústica

Planteamiento del Problema

Los modelos de aprendizaje auto-supervisado (SSL) preentrenados en el habla humana (por ejemplo, HuBERT) y en vocalizaciones animales (por ejemplo, AVES) han demostrado una fuerte transferibilidad a tareas bioacústicas. Sin embargo, sus representaciones congeladas no están necesariamente optimizadas para conjuntos de datos específicos, que suelen ser de especies particulares, limitados en tamaño y costosos de anotar. El ajuste fino (fine-tuning) completo de los grandes codificadores SSL es computacionalmente costoso y a menudo poco práctico dada la escasez de datos animales anotados. Si bien trabajos previos han comparado dominios de preentrenamiento, sigue sin estar claro cómo deben adaptarse estos modelos para tareas bioacústicas, específicamente en lo que respecta a qué componentes actualizar, cuántas capas modificar y si los modelos preentrenados en habla y en bioacústica se benefician de las estrategias de adaptación de la misma manera. Además, la literatura existente sugiere un declive progresivo en el rendimiento de la clasificación a través de las capas más profundas del codificador cuando se utilizan modelos congelados; se desconoce si la adaptación directa sobre datos bioacústicos descendentes altera esta tendencia.

Metodología

Este estudio investiga el Ajuste Fino de Parámetros Eficientes (PEFT) mediante la Adaptación de Bajo Rango (LoRA) para la Identificación de Tipos de Canto (CTID). Los autores emplean dos modelos basados en transformadores arquitectónicamente idénticos: HuBERT (preentrenado en el habla humana) y AVES-Bio (preentrenado en datos bioacústicos). La investigación se estructura en torno a cuatro estudios de ablación sistemáticos para determinar las estrategias de adaptación óptimas:

1. Selección de Matrices (Q1): El estudio evalúa qué subconjuntos de matrices de proyección de transformadores producen el mejor rendimiento. Las configuraciones varían desde adaptar solo las redes de alimentación hacia adelante ([FC1, FC2]) hasta adaptar todas las proyecciones de autoatención (Q, K, V) y las capas de salida/alimentación hacia adelante ([Q, K, V, FC0, FC1, FC2]).
2. Alcance de la Adaptación (Q2): Los autores examinan si extender los adaptadores LoRA más allá del codificador de Transformador mejora el rendimiento. Comparan:
   • Solo codificador: Adaptadores en las capas del Transformador.
   • Proyector + Codificador: Adaptadores en el Transformador y en la capa de proyección de características.
   • Extractor + Proyector + Codificador: Ajuste fino completo del extractor de características convolucionales combinado con adaptadores en el proyector y el codificador.
3. Estrategias de Selección de Capas (Q3): Se comparan dos estrategias para determinar qué capas del codificador deben adaptarse:
   • Bottoms-up (De abajo hacia arriba): Adaptando incrementalmente las capas desde la primera capa hacia arriba ($l_1$ a $l_k$).
   • Top-down (De arriba hacia abajo): Adaptando incrementalmente las capas desde la última capa hacia abajo ($l_L$ a $l_{L-k}$).
4. Estrategias de Ajuste Fino (Q4): El estudio compara tres paradigmas:
   • Sondeo Lineal (Linear Probing): Todas las capas permanecen congeladas; se entrena un clasificador lineal en la parte superior.
   • LoRA + Congelación: Capas seleccionadas reciben adaptadores LoRA y se ajustan finamente; las demás permanecen congeladas.
   • LoRA + Poda (Pruning): Capas seleccionadas se ajustan finamente con LoRA; las capas no seleccionadas se eliminan por completo del modelo.

Los experimentos se realizaron en dos conjuntos de datos: InfantMarmosetsVox (IMV) (72,920 muestras, 11 tipos de canto) y Abzaliev (8,034 muestras, 14 tipos de canto). Los hiperparámetros se optimizaron mediante búsqueda de cuadrícula (grid search), identificando un rango ($r$) de 60, un factor de escala ($\alpha$) de 3 y una tasa de aprendizaje de $10^{-3}$ como óptimos.

Resultados Clave

Selección de Matriz y Alcance

• Selección de Matriz: El rendimiento muestra una progresión monotónica donde adaptar un conjunto más amplio de matrices de proyección produce resultados más sólidos. La configuración que adapta todas las proyecciones de autoatención y de alimentación hacia adelante ([Q, K, V, FC0, FC1, FC2]) logró el mayor Recuerdo Promedio No Ponderado (UAR).
• Adaptación del Extractor de Características: El ajuste fino directo del extractor de características convolucionales (en lugar de usar LoRA) degradó de manera constante y significativa el rendimiento descendente. Adaptar el proyector de características produjo solo ganancias marginales en comparación con adaptar solo el codificador.

Selección de Capas y Tendencias

• Comparación de Estrategias: Ni la estrategia "bottoms-up" ni la "top-down" superaron consistentemente a la otra. Ambas produjeron resultados comparables cuando los adaptadores se colocaban en las mismas matrices.
• Rendimiento por Capa:
  • Modelos Congelados: En consonancia con la literatura previa, el sondeo lineal en modelos congelados mostró un declive progresivo en el rendimiento a medida que se utilizaban capas más profundas.
  • Adaptación LoRA: Cuando se aplicó LoRA, las capas más profundas del transformador en AVES mostraron una trayectoria ascendente general en el rendimiento. Esto indica que las capas más profundas codifican características abstractas que pueden clasificar eficazmente los cantos, pero solo cuando las capas se ajustan finamente.

Estrategias de Ajuste Fino y Tamaño del Conjunto de Datos

• Conjunto de Datos Grande (IMV): El ajuste fino con LoRA (con congelación o poda) superó sustancialmente al sondeo lineal simple en casi todas las capas.
• Conjunto de Datos Pequeño (Abzaliev): El sondeo lineal simple resultó más fiable y a menudo superó el rendimiento de LoRA, aunque la brecha fue modesta. Esto sugiere que la eficacia de LoRA escala con el tamaño del conjunto de datos, mientras que el sondeo lineal es una base más robusta para escenarios de pocos datos.
• Poda vs. Congelación: Eliminar las capas no utilizadas (poda) no ofreció ninguna ventaja significativa sobre el simple hecho de congelarlas en términos de rendimiento, aunque reduce el tamaño del modelo.

Complejidad del Clasificador

• En el conjunto de datos Abzaliev, un clasificador MLP más profundo de 4 capas superó a la capa lineal única utilizada en los experimentos de LoRA.
• En el conjunto de datos IMV, la capa lineal única superó al MLP. Esto indica un comportamiento dependiente del conjunto de datos respecto a la necesidad de la no linealidad del clasificador.

Significación y Reivindicaciones

El artículo sostiene que la Adaptación de Bajo Rango (LoRA) proporciona un marco práctico y efectivo para adaptar las grandes representaciones SSL a tareas bioacústicas, particularmente cuando hay suficientes datos etiquetados disponibles.

• Optimización de la Adaptación: El estudio destaca que el éxito de PEFT en bioacústica depende altamente de elecciones de diseño específicas: adaptar un conjunto más amplio de proyecciones de transformador es superior, mientras que adaptar el extractor de características convolucionales es perjudicial.
• Reversión de Tendencias de Capas: Un hallazgo clave es que la adaptación directa mediante LoRA puede revertir el declive típico de rendimiento observado en las capas más profundas de los modelos SSL congelados, permitiendo que las capas más profundas contribuyan significativamente a la clasificación.
• Dependencia de los Datos: Los autores concluyen modestamente que, si bien LoRA es una herramienta poderosa para la clasificación bioacústica con abundantes datos, un sondeo lineal clásico puede seguir siendo una base más fuerte y estable en entornos de bajos datos.
• Generalizabilidad: Los hallazgos subrayan la importancia de seleccionar cuidadosamente la ubicación de los adaptadores, las estrategias de capa y los métodos de ajuste fino al aplicar modelos SSL de gran tamaño a tareas bioacústicas, en lugar de asumir un enfoque de "talla única".

El trabajo no pretende resolver todos los desafíos bioacústicos, sino establecer una comprensión sistemática de cómo los métodos de eficiencia de parámetros interactúan con los modelos preentrenados en voz y bioacústica, ofreciendo una guía para futuras estrategias de adaptación en el campo.