Recovering the Zipfian Distribution in Unsupervised Term Discovery

Énoncé du problème
La découverte de termes non supervisée vise à construire un lexique à partir de parole non étiquetée en identifiant les frontières acoustiques et en regroupant les segments résultants en groupes phonétiquement homogènes. Alors que les véritables lexiques de la langue naturelle suivent une distribution de Zipf à longue traîne (où quelques types sont très fréquents et beaucoup sont rares), les approches non supervisées dominantes ne parviennent pas à récupérer cette structure. Plus précisément, la méthode de regroupement (clustering) basée sur les centres, K-means, largement adoptée, possède un biais inductif vers des clusters de tailles similaires et compacts. Cela se traduit par une distribution de fréquence des types quasi uniforme qui s'aligne mal avec les propriétés statistiques du langage naturel. L'article examine si des méthodes de regroupement alternatives avec des biais inductifs différents peuvent récupérer la distribution de Zipf dans l'induction de lexiques non supervisés.

Méthodologie
Les auteurs suivent le pipeline standard de trois étapes de la découverte de termes non supervisée : segmentation, représentation et regroupement.

• Représentation : L'étude utilise des plongements (embeddings) de dimension fixe dérivés de la 21ème couche de WavLM Large (entraîné sur l'anglais). Les plongements de segments sont créés en faisant la moyenne des caractéristiques alignées temporellement après réduction par PCA et normalisation.
• Segmentation : Les expériences sont menées sous trois conditions pour isoler l'effet du regroupement : frontières de mots de vérité terrain (ground-truth), frontières de syllabes de vérité terrain, et frontières syllabiques non supervisées (utilisant la méthode ZeroSyl).
• Comparaison de regroupement : L'article compare cinq méthodes :
  • Basée sur les centres : K-means, BIRCH et les modèles de mélange gaussien bayésiens finis (FBGMM). Ces méthodes représentent les clusters par des centroïdes ou des composantes paramétriques.
  • Ascendante (Bottom-up) : Regroupement par graphe et regroupement agglomératif (lien moyen). Ces méthodes construisent des clusters basés sur les relations par paires entre les plongements de segments.
• Spécificités du regroupement par graphe : Cette approche construit un graphe de similitude où des arêtes existent si la similitude cosinus dépasse un seuil ($\tau$). Le graphe est partitionné à l'aide de l'algorithme de Leiden avec un objectif de modèle de Potts constant (CPM), contrôlé par un paramètre de résolution ($\gamma$). Cela permet un contrôle explicite de la granularité des clusters et de la forme de la distribution.
• Évaluation : Les méthodes sont évaluées sur l'anglais, l'afrikaans et le français. Les métriques incluent la similitude d'édition normalisée (NES), l'inverse de la NES (iNES), leur moyenne harmonique (F1NES) et le débit (bitrate). Crucialement, l'étude analyse les distributions de fréquence des types résultantes pour évaluer l'alignement de Zipf.

Contributions clés

1. Impact de la méthode de regroupement : L'article démontre que le choix de l'algorithme de regroupement est critique pour l'induction de lexiques non supervisés. Les méthodes ascendantes (regroupement par graphe et agglomératif) surpassent systématiquement les méthodes basées sur les centres (K-means, BIRCH, FBGMM) à travers toutes les conditions de segmentation et toutes les langues.
2. Récupération des distributions de Zipf : Contrairement aux approches basées sur les centres qui produisent des distributions plates et uniformes, les méthodes ascendantes réussissent à récupérer les distributions de fréquence des types à longue traîne caractéristiques du langage naturel au niveau des mots, tout en s'adaptant aux distributions moins asymétriques observées au niveau des syllabes.
3. Granularité contrôlée via le regroupement par graphe : Les auteurs soulignent que le regroupement par graphe est une approche ascendante particulièrement efficace. Il offre deux hyperparamètres interprétables — le seuil de similitude ($\tau$) et la résolution ($\gamma$) — qui fournissent un contrôle direct sur la distribution de fréquence des types induite, permettant au système d'approcher plus efficacement les distributions cibles qu'en fixant simplement le nombre de clusters ($K$).

Résultats

• Performance : Sur les données anglaises, le regroupement par graphe et le regroupement agglomératif ont nettement surpassé K-means en termes de F1NES et d'iNES (rappel des types réels). Par exemple, au niveau du mot, le regroupement par graphe a atteint un F1NES de 68,43 % contre 40,47 % pour K-means. Cette tendance a persisté pour l'afrikaans et le français, même en utilisant des caractéristiques SSL entraînées sur l'anglais sur des langues non vues.
• Forme de la distribution : L'analyse visuelle des graphiques de fréquence des types a confirmé que les méthodes basées sur les centres fragmentent les types fréquents, menant à des distributions uniformes. En revanche, les méthodes ascendantes ont produit des distributions qui suivent étroitement les courbes de Zipf de vérité terrain.
• Efficacité : Bien que le regroupement agglomératif ait bien performé, il était plus lent en termes de calcul (environ 9 minutes contre 3 minutes pour le regroupement par graphe sur le jeu de données anglais) en raison des calculs répétés de distances par paires. Le regroupement par graphe offre un équilibre entre performance et efficacité, bien que les auteurs notent que les deux méthodes ascendantes passent mal à l'échelle par rapport aux approches basées sur les centres.
• Sensibilité aux hyperparamètres : L'étude a montré que le seuil $\tau$ et la résolution $\gamma$ dans le regroupement par graphe régissent un compromis entre la cohérence intra-cluster (NES) et la séparation inter-cluster des types réels (iNES). Des valeurs de $\tau$ plus faibles favorisaient des graphes plus denses qui capturaient mieux la longue traîne des mots fréquents.

Signification et affirmations
L'article soutient que la dominance du regroupement basé sur les centres dans la découverte de termes non supervisée est discutable en raison de son biais inhérent vers des tailles de clusters uniformes. Les conclusions suggèrent que l'abandon des hypothèses géométriques des méthodes basées sur les centres au profit d'approches ascendantes est le facteur clé pour récupérer des structures lexicales réalistes. Les auteurs positionnent le regroupement par graphe comme une alternative attrayante qui non seulement améliore les métriques de qualité du lexique, mais fournit également un mécanisme pour contrôler les propriétés statistiques du lexique induit. L'étude conclut que le regroupement est une décision de modélisation centrale dans la découverte de termes et appelle à de futures recherches sur des méthodes ascendantes scalables pour rendre ces approches viables pour des ensembles de données plus larges et réalistes.