Résumé technique : Adaptation de modèles de parole et de bioacoustique

Problématique

Les modèles d'apprentissage auto-supervisé (SSL) pré-entraînés sur la parole humaine (ex. : HuBERT) et les vocalisations animales (ex. : AVES) ont démontré une forte transférabilité aux tâches bioacoustiques. Cependant, leurs représentations gelées ne sont pas nécessairement optimisées pour des ensembles de données en aval spécifiques, qui sont souvent propres à une espèce, limités en taille et coûteux à annoter. Le réglage fin complet (full fine-tuning) d'encodeurs SSL de grande taille est coûteux en calcul et souvent impraticable compte tenu de la rareté des données animales annotées. Bien que des travaux antérieurs aient comparé les domaines de pré-entraînement, il reste incertain comment ces modèles doivent être adaptés pour les tâches bioacoustiques, spécifiquement en ce qui concerne les composants à mettre à jour, le nombre de couches à modifier, et si les modèles pré-entraînés sur la parole et ceux pré-entraînés sur la bioacoustique bénéficient des stratégies d'adaptation de la même manière. De plus, la littérature existante suggère un déclin progressif des performances de classification à travers les couches de l'encodeur les plus profondes lors de l'utilisation de modèles gelés ; il est inconnu si l'adaptation directe sur des données bioacoustiques en aval modifie cette tendance.

Méthodologie

Cette étude étudie le Fine-Tuning Paramétriquement Efficace (PEFT) utilisant l'Adaptation de Bas Rang (LoRA) pour l'Identification de Type de Cri (CTID). Les auteurs emploient deux modèles à base de transformeurs architecturalement identiques : HuBERT (pré-entraîné sur la parole humaine) et AVES-Bio (pré-entraîné sur des données bioacoustiques). La recherche est structurée autour de quatre études d'ablation systématiques pour déterminer les stratégies d'adaptation optimales :

1. Sélection de Matrices (Q1) : L'étude évalue quels sous-ensembles de matrices de projection du transformeur produisent les meilleures performances. Les configurations vont de l'adaptation uniquement des réseaux de propagation avant ([FC1, FC2]) à l'adaptation de toutes les projections d'auto-attention (Q, K, V) et des couches de sortie/propagation avant ([Q, K, V, FC0, FC1, FC2]).
2. Étendue de l'Adaptation (Q2) : Les auteurs examinent si l'extension des adaptateurs LoRA au-delà de l'encodeur de Transformeur améliore les performances. Ils comparent :
   • Encodeur uniquement : Adaptateurs dans les couches de Transformeur.
   • Projecteur + Encodeur : Adaptateurs dans le Transformeur et la couche de projection de caractéristiques.
   • Extracteur + Projecteur + Encodeur : Réglage fin complet de l'extracteur de caractéristiques convolutionnel combiné avec des adaptateurs dans le projecteur et l'encodeur.
3. Stratégies de Sélection de Couches (Q3) : Deux stratégies sont comparées pour déterminer quelles couches de l'encodeur doivent être adaptées :
   • Ascendante (Bottoms-up) : Adaptation incrémentale des couches de la première vers la dernière ($l_1$ à $l_k$).
   • Descendante (Top-down) : Adaptation incrémentale des couches de la dernière vers la première ($l_L$ à $l_{L-k}$).
4. Stratégies de Fine-Tuning (Q4) : L'étude compare trois paradigmes :
   • Sondage Linéaire (Linear Probing) : Toutes les couches sont gelées ; un classificateur linéaire est entraîné au sommet.
   • LoRA + Gel (LoRA + Freezing) : Des couches sélectionnées reçoivent des adaptateurs LoRA et sont soumises à un réglage fin ; les autres restent gelées.
   • LoRA + Élagage (LoRA + Pruning) : Des couches sélectionnées sont soumises à un réglage fin avec LoRA ; les couches non sélectionnées sont entièrement supprimées du modèle.

Les expériences ont été menées sur deux ensembles de données : InfantMarmosetsVox (IMV) (72 920 échantillons, 11 types de cris) et Abzaliev (8 034 échantillons, 14 types de cris). Les hyperparamètres ont été optimisés via une recherche par grille, identifiant un rang ($r$) de 60, un facteur d'échelle ($\alpha$) de 3 et un taux d'apprentissage de $10^{-3}$ comme étant optimaux.

Résultats Clés

Sélection de Matrice et d'Étendue

• Sélection de Matrice : La performance présente une progression monotone où l'adaptation d'un ensemble plus large de matrices de projection produit des résultats plus probants. La configuration adaptant toutes les projections d'auto-attention et de propagation avant ([Q, K, V, FC0, FC1, FC2]) a obtenu le Rappel Moyen Non Pondéré (UAR) le plus élevé.
• Adaptation de l'Extracteur de Caractéristiques : Le réglage fin direct de l'extracteur de caractéristiques convolutionnel (au lieu d'utiliser LoRA) a systématiquement et significativement dégradé les performances en aval. L'adaptation du projecteur de caractéristiques n'a apporté que des gains marginaux par rapport à l'adaptation de l'encodeur seul.

Sélection de Couches et Tendances

• Comparaison de Stratégies : Ni la stratégie "ascendante" ni la stratégie "descendante" de sélection de couches n'ont surpassé l'autre de manière constante. Les deux ont produit des résultats comparables lorsque les adaptateurs étaient placés sur les mêmes matrices.
• Performance par Couche :
  • Modèles Gelés : Conformément à la littérature antérieure, le sondage linéaire sur des modèles gelés a montré un déclin progressif des performances à mesure que les couches profondes étaient utilisées.
  • Adaptation LoRA : Lorsque LoRA était appliqué, les couches plus profondes du transformeur dans AVES montraient une trajectoire ascendante générale de la performance. Cela indique que les couches profondes encodent des caractéristiques abstraites qui peuvent classifier efficacement les cris, mais seulement lorsque les couches sont soumises à un réglage fin.

Stratégies de Fine-Tuning et Taille de l'Ensemble de Données

• Grand Ensemble de Données (IMV) : Le réglage fin LoRA (avec gel ou élagage) a nettement surpassé le simple sondage linéaire sur presque toutes les couches.
• Petit Ensemble de Données (Abzaliev) : Le simple sondage linéaire est resté plus fiable et a souvent dépassé la performance de LoRA, bien que l'écart soit modeste. Cela suggère que l'efficacité de LoRA dépend de la taille de l'ensemble de données, tandis que le sondage linéaire est une base plus robuste pour les scénarios à faibles données.
• Élagage vs Gel : Supprimer les couches inutilisées (élagage) n'a offert aucun avantage significatif par rapport au simple gel de celles-ci en termes de performance, bien que cela réduise la taille du modèle.

Complexité du Classificateur

• Sur l'ensemble de données Abzaliev, un classificateur MLP plus profond à 4 couches a surpassé la couche linéaire unique utilisée dans les expériences LoRA.
• Sur l'ensemble de données IMV, la couche linéaire unique a surpassé le MLP. Cela indique un comportement spécifique au jeu de données concernant la nécessité de la non-linéarité du classificateur.

Signification et Revendications

L'article affirme que l'Adaptation de Bas Rang (LoRA) fournit un cadre pratique et efficace pour adapter les grandes représentations SSL aux tâches bioacoustiques, particulièrement lorsqu'un volume suffisant de données étiquetées est disponible.

• Optimisation de l'Adaptation : L'étude souligne que le succès du PEFT en bioacoustique dépend fortement de choix de conception spécifiques : adapter un ensemble plus large de projections de transformeurs est supérieur, tandis qu'adapter l'extracteur de caractéristiques convolutionnel est préjudiciable.
• Inversion des Tendances de Couches : Une découverte clé est que l'adaptation directe via LoRA peut inverser le déclin typique de performance observé dans les couches profondes des modèles SSL gelés, permettant aux couches profondes de contribuer de manière significative à la classification.
• Dépendance aux Données : Les auteurs concluent modestement que, bien que LoRA soit un outil puissant pour la classification bioacoustique avec des données abondantes, un sondage linéaire classique peut rester une base plus forte et plus stable dans les contextes de faibles données.
• Généralisabilité : Les conclusions soulignent l'importance de sélectionner soigneusement l'emplacement des adaptateurs, les stratégies de couches et les méthodes de réglage fin lors de l'application de grands modèles SSL aux tâches bioacoustiques, plutôt que de supposer une approche universelle.

Le travail ne prétend pas résoudre tous les défis bioacoustiques mais établit une compréhension systématique de la manière dont les méthodes de réglage de paramètres efficaces interagissent avec les modèles pré-entraînés sur la parole et la bioacoustique, offrant ainsi un guide pour les futures stratégies d'adaptation dans le domaine.