Human-CLAP: Human-perception-based contrastive language-audio pretraining

Ce papier présente Human-CLAP, un modèle préentraîné par contraste texte-audio optimisé sur des évaluations subjectives humaines, qui améliore significativement la corrélation entre les scores d'évaluation automatique et le jugement humain par rapport aux méthodes CLAP conventionnelles.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, sans jargon technique.

Imaginez que vous êtes un chef cuisinier (l'ordinateur) qui essaie de créer des plats (des sons) à partir de recettes écrites (des textes).

1. Le Problème : Le Chef et le Dégustateur ne sont pas d'accord

Jusqu'à présent, les chercheurs utilisaient un outil appelé CLAP pour vérifier si la recette correspondait bien au plat.

• Comment ça marchait ? L'outil CLAP comparait le texte et le son en regardant s'ils se ressemblaient mathématiquement, un peu comme si on comparait deux photos pour voir si elles étaient identiques.
• Le souci : Cet outil est très "bête". Il pense que deux choses sont similaires juste parce qu'elles partagent des mots-clés, même si le résultat final est bizarre.
  • Exemple : Si la recette dit "un chien qui aboie", l'outil CLAP pourrait dire "C'est parfait !" même si le son produit est celui d'un chat qui miaule, tant que les mots "chien" et "aboiement" sont présents dans les données d'entraînement.
  • Le verdict : Les chercheurs ont découvert que la note donnée par l'ordinateur (CLAPScore) et la note donnée par un humain (qui écoute vraiment) n'avaient presque aucun lien. C'est comme si le chef disait "C'est un 10/10" alors que le client trouve ça immangeable.

2. La Solution : Le "Human-CLAP" (Le Chef qui a un goût humain)

Pour régler ce problème, les auteurs de l'article ont créé une nouvelle version appelée Human-CLAP.

Au lieu d'apprendre uniquement à partir de millions de paires texte-son trouvées sur Internet (qui sont souvent imparfaites ou bruyantes), ils ont demandé à de vrais humains d'écouter des sons et de noter, sur une échelle de 0 à 10, à quel point le texte correspondait au son.

Ensuite, ils ont pris le modèle de base (le chef débutant) et l'ont entraîné avec ces notes humaines.

• L'analogie : C'est comme si on prenait un apprenti cuisinier et qu'on lui donnait non seulement des recettes, mais aussi un maître dégustateur qui lui dit : "Non, ce plat ne sent pas vraiment le chien, c'est un 2/10. Ce autre plat, c'est un 9/10, c'est exactement ce qu'il faut."

3. Comment ça marche ? (La Méthode)

Ils ont utilisé une astuce intelligente pour l'entraînement :

1. L'écoute active : Ils ont pris un petit nombre de notes humaines (très peu par rapport aux millions de données habituelles).
2. Le double entraînement : Ils ont enseigné au modèle deux choses en même temps :
   • La logique classique : "Si le texte et le son vont ensemble, rapprochez-les."
   • La logique humaine : "Si l'humain a donné une note basse, même si le texte et le son se ressemblent un peu, éloignez-les ! Si l'humain a donné une note haute, rapprochez-les encore plus."

C'est comme ajouter un filtre de réalité au cerveau de l'ordinateur.

4. Les Résultats : Le Chef a enfin le goût juste !

Les tests ont montré que cette nouvelle méthode (Human-CLAP) fonctionne beaucoup mieux :

• Avant : L'ordinateur et l'humain étaient souvent en désaccord total (corrélation faible).
• Après : La note de l'ordinateur correspond désormais beaucoup mieux à ce que l'humain pense. L'accord est passé d'environ 0,28 à plus de 0,45 (ce qui est une énorme amélioration dans ce domaine).

En résumé visuel :

• CLAP classique : Un robot qui lit une étiquette "Chien" sur un sac et dit "C'est un chien", même si le sac contient une pierre.
• Human-CLAP : Un robot qui a appris à écouter le sac, à sentir l'odeur, et qui dit : "Ah non, ce n'est pas un chien, l'humain ne l'aurait pas noté comme ça."

Pourquoi est-ce important ?

Cela permet de créer de meilleurs systèmes pour :

• La recherche audio : Trouver le bon son avec le bon mot.
• La génération de sons : Créer des musiques ou des bruitages qui correspondent vraiment à ce que l'on demande, sans faire de "faux pas" étranges.
• L'accessibilité : Aider les personnes malentendantes à comprendre les contenus audio grâce à des descriptions textuelles fiables.

En bref, les chercheurs ont réussi à donner un cœur humain à un algorithme froid, pour qu'il comprenne enfin ce que nous, humains, trouvons "agréable" ou "pertinent".

Résumé technique

Voici un résumé technique détaillé de l'article "Human-CLAP: Human-perception-based contrastive language–audio pretraining", présenté au sommet annuel de l'APSIPA 2025.

1. Problématique

Le modèle CLAP (Contrastive Language–Audio Pretraining) est devenu un standard pour les tâches de génération et de reconnaissance audio, notamment pour évaluer la pertinence entre un texte et un audio dans les systèmes de "Text-to-Audio" (TTA). La métrique dérivée, CLAPScore, mesure la similarité entre les vecteurs d'incorporation (embeddings) du texte et de l'audio.

Cependant, l'article identifie un problème majeur : la faible corrélation entre le CLAPScore et les évaluations subjectives humaines.

• Bien que CLAP soit entraîné sur des paires texte-audio supposées correspondre parfaitement, les jeux de données contiennent souvent du bruit (des descriptions incomplètes ou inexactes).
• Le modèle standard traite toutes les paires de manière égale, ce qui conduit à des espaces d'incorporation où la distance ne reflète pas fidèlement la perception humaine de la pertinence.
• Il existe un besoin critique d'une métrique objective qui s'aligne mieux sur le jugement humain pour évaluer correctement les modèles de génération audio.

2. Méthodologie : Human-CLAP

Les auteurs proposent Human-CLAP, une approche de pré-entraînement contrastif adaptée à la perception humaine. La méthode repose sur le fine-tuning d'un modèle CLAP pré-entraîné (LAION CLAP) en utilisant un petit ensemble de scores subjectifs (environ 1/320ème de la taille des données d'entraînement originales de CLAP).

Architecture et Fonction de Perte

Contrairement au CLAP classique qui maximise uniquement la similarité cosinus pour les paires appariées, Human-CLAP intègre les scores humains comme cibles d'apprentissage via une fonction de perte hybride :

1. Perte de Régression (MSE ou MAE) :

   • Elle minimise l'erreur entre le score subjectif humain (redimensionné entre 0 et 1, noté $a_i$) et la similarité cosinus prédite par le modèle ($y_i$).
   • Cela force le modèle à prédire directement la valeur de pertinence perçue.

2. Perte Contrastive Pondérée (wSCE) :

   • Une modification de la perte d'entropie croisée symétrique (SCE) standard.
   • La contribution de chaque paire à la perte est pondérée par son score subjectif $a_i$.
   • Objectif : Les paires avec un score humain élevé (forte pertinence) sont fortement encouragées à être proches dans l'espace d'incorporation, tandis que les paires avec un score faible sont pénalisées différemment, permettant au modèle d'apprendre une hiérarchie de pertinence plus nuancée.

La fonction de perte globale est une combinaison linéaire :
$$L = \lambda_1 L_{wSCE} + \lambda_2 L_{reg}$$
où $L_{reg}$ est la perte de régression (MSE ou MAE).

3. Contributions Clés

• Analyse de corrélation : Les auteurs ont démontré empiriquement que le CLAPScore standard a une corrélation faible avec les scores subjectifs humains (coefficient de corrélation de rang de Spearman - SRCC $\approx$ 0,28).
• Proposition de Human-CLAP : Introduction d'un nouveau modèle entraîné avec des scores subjectifs humains pour aligner l'espace d'incorporation sur la perception humaine.
• Efficacité des données : Démonstration qu'un fine-tuning avec une quantité très réduite de données annotées humainement (quelques milliers de paires) suffit à améliorer significativement les performances par rapport à un modèle entraîné sur des millions de données brutes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données RELATE, contenant des paires texte-audio naturelles et synthétisées (générées par AudioLDM, Tango, etc.).

• Amélioration de la Corrélation :

  • Le modèle Human-CLAP (wSCE + MAE) a atteint un SRCC de 0,457 et un LCC de 0,481, contre respectivement 0,280 et 0,294 pour le modèle de base (LAION CLAP).
  • Cela représente une amélioration du coefficient de corrélation de rang de plus de 0,17, confirmant un alignement bien supérieur avec l'évaluation humaine.

• Performance par Type de Données :

  • L'amélioration est observée aussi bien sur les audio naturels que sur les audio synthétisés. Par exemple, pour les audio générés par AudioLDM2, le SRCC passe de 0,288 (base) à 0,589 (Human-CLAP).

• Analyse des Scores Faibles :

  • Une analyse détaillée montre que les modèles entraînés uniquement avec une perte de régression (MAE seul) ont du mal à attribuer des scores CLAP bas aux paires non pertinentes (scores humains proches de 0).
  • L'ajout de la perte wSCE permet au modèle de mieux discriminer les paires à faible pertinence, évitant ainsi de sur-estimer la qualité de mauvaises paires.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Fiabilité des Métriques : Il met en lumière les limites des métriques objectives actuelles (CLAPScore) pour l'évaluation des modèles TTA et propose une alternative plus fiable.
2. Optimisation des Coûts : Il démontre qu'il n'est pas nécessaire de collecter des millions de paires annotées manuellement pour améliorer la perception des modèles ; un petit jeu de données de haute qualité suffit pour guider le fine-tuning.
3. Applications Futures : Human-CLAP peut être utilisé comme une métrique de référence plus robuste pour l'entraînement et la sélection de modèles de génération audio, garantissant que les sorties correspondent mieux aux attentes et à la perception des utilisateurs finaux, y compris pour les personnes malentendantes qui dépendent de descriptions textuelles précises.

En résumé, Human-CLAP comble le fossé entre l'évaluation algorithmique et la perception humaine, offrant un outil essentiel pour le développement de systèmes audio-texte de nouvelle génération.