Résumé technique : Regroupement d'images universel piloté par des directives via un agent hybride LLM

1. Énoncé du problème

Le regroupement d'images (image clustering), la tâche consistant à grouper des images visuellement similaires, fait face à une fragmentation fondamentale dans les méthodologies actuelles. Les approches existantes sont généralement optimisées pour des scénarios spécifiques, créant des lacunes qui empêchent une application universelle :

• Spécificité de la tâche : Les méthodes optimisées pour la catégorisation générale d'objets échouent souvent lors de distinctions fines (ex: distinguer des espèces d'oiseaux vs des modèles de voitures).
• Biais de distribution : Les algorithmes conçus pour des distributions équilibrées peinent face aux données à longue traîne où de nombreux clusters contiennent très peu d'échantillons.
• Rigidité des critères : Les techniques de regroupement à perspective unique ne peuvent pas gérer plusieurs critères simultanés (ex: grouper à la fois par couleur et par espèce), ni s'adapter facilement à des directives textuelles abstraites ou composites sans réentraînement.
• Surcharge d'entraînement : La plupart des méthodes de regroupement profond nécessitent un entraînement spécifique à la tâche, ce qui limite leur flexibilité dans des environnements réels dynamiques où les directives changent.

Les auteurs identifient le besoin critique d'un cadre universel capable d'accepter des directives en langage naturel pour définir les critères de regroupement, de fonctionner sans entraînement spécifique à la tâche, et de gérer des scénarios divers allant du général au fin, et des distributions équilibrées aux distributions à longue traîne.

2. Méthodologie

Le cadre proposé, l'Agent de regroupement d'images piloté par des directives (Guideline-Driven Image Clustering Agent), fonctionne comme un système hybride sans entraînement composé de deux étapes principales : la Modélisation de Proxy de Concept Génératif (GCPM) et la Traversée de LLM basée sur MST.

2.1. Modélisation de Proxy de Concept Génératif (GCPM)

Pour incorporer des directives textuelles complexes sans ajustement fin (fine-tuning) des encodeurs, les auteurs proposent la GCPM. Cette approche répond au défi selon lequel l'encodage direct des images avec des directives conduit souvent à un masquage d'attributs (où des caractéristiques visuellement dominantes mais non pertinentes masquent les attributs spécifiques de la directive).

• Extraction de Proxy de Concept : Un Grand Modèle de Langage Multimodal (MLLM) agit comme un modèle de légende ($f_{caption}$) pour extraire des descriptions textuelles d'images qui se concentrent explicitement sur les attributs spécifiés dans la directive ($A \subseteq G$). Ce processus désentrelace les attributs, les faisant émerger sous forme textuelle.
• Plongement (Embedding) Sensible aux Instructions : Ces « légendes de proxy de concept » générées sont ensuite encodées à l'aide de modèles de plongement sensibles aux instructions ($f_{embed}$) aux côtés du texte de la directive. Cela crée des plongements ($h_i$) qui sont sémantiquement alignés avec les critères de regroupement spécifiques.
• Flexibilité : Cette méthode prend en charge à la fois le regroupement complet (considérant tous les attributs) et le regroupement spécifique à une dimension (se concentrant sur des attributs précis) en ajustant l'entrée du modèle de plongement.

2.2. Traversée de LLM basée sur MST

Bien que la GCPM génère des plongements sensibles aux directives adaptés aux algorithmes standards, les auteurs observent que les algorithmes basés sur la densité comme HDBSCAN produisent souvent des petits clusters cohérents mais échouent à fusionner des groupes homogènes dans des scénarios complexes ou à longue traîne. Inversement, utiliser des Grands Modèles de Langage (LLM) pour toutes les comparaisons par paires est prohibitivement coûteux en calcul ($O(M^2)$).

Pour équilibrer le raisonnement sémantique et l'efficacité, les auteurs introduisent la Traversée de LLM basée sur MST :

1. Regroupement Initial : HDBSCAN est appliqué aux plongements GCPM pour générer un ensemble initial de clusters.
2. Calcul de Distance : La distance de Ward est calculée entre toutes les paires de clusters sur la base de leurs centroïdes.
3. Construction de l'Arbre Couvrant Minimal (MST) : Un arbre couvrant minimal (MST) est construit à partir de la matrice de distance. Cela ordonne les paires de clusters par similitude, privilégiant les candidats de fusion les plus prometteurs.
4. Raisonnement Sélectif du LLM : Au lieu d'interroger le LLM pour toutes les paires, l'algorithme traverse itérativement le MST. Pour chaque arête (paire de clusters), le LLM est interrogé pour décider s'il faut les fusionner en fonction de la directive.
5. Optimisation de l'Efficacité :
   • La structure du MST garantit que seules les fusions les plus probables sont évaluées en premier.
   • Le nombre d'appels au LLM est réduit de $O(M^2)$ à un $O(M \log M)$ attendu.
   • Les décisions sont mises en cache pour éviter les requêtes redondantes pour les paires déjà évaluées.

2.3. Gestion des Directives

Le cadre accepte des directives textuelles explicites (ex: « grouper par marque et par activité prévue »). Dans les scénarios où des directives explicites ne sont pas disponibles, le système utilise des invites heuristiques pour exploiter les connaissances internes du LLM afin de générer automatiquement des directives ou utilise l'exploration de la sous-structure des données non supervisée pour identifier les critères fondamentaux.

3. Contributions Clés

Le papier expose quatre contributions principales :

1. Cadre Universel : Le premier cadre de regroupement capable de gérer des directives textuelles composites et abstraites sans entraînement spécifique à la tâche, unifiant les tâches de regroupement général, fin, multiple et à longue traîne.
2. Modélisation de Proxy de Concept Génératif (GCPM) : Une approche de plongement sans entraînement qui utilise des MLLM pour extraire des proxies de concept, désentrelaçant efficacement les attributs et intégrant les directives dans les plongements là où l'encodage multimodal direct échoue.
3. Traversée de LLM basée sur MST : Un nouvel algorithme qui minimise considérablement les invocations coûteuses de LLM en sélectionnant intelligemment quelles décisions de regroupement nécessitent un raisonnement sémantique profond, réduisant la complexité de quadratique à quasi-linéaire par rapport au nombre de clusters.
4. Évaluation Complète : Des expériences approfondies sur quatre tâches de regroupement distinctes démontrant une généralisation et des performances supérieures par rapport aux méthodes spécialisées nécessitant un entraînement.

4. Résultats Expérimentaux

Le cadre a été évalué sur un large éventail de jeux de données incluant CIFAR-10, STL-10, ImageNet-10 (Regroupement Général), Fruit/Cards/CIFAR10-MC (Regroupement Multiple), CUB Birds/Stanford Dogs/Cars/Oxford Flowers (Regroupement Fin), et un jeu de données proposé ABO-LC (Longue Traîne E-commerce).

• Regroupement Général (GC) : Sur ImageNet-10, la variante GCPM-G (basée sur MLLM) avec K-Means a atteint une précision de 98,8 %, surpassant la meilleure méthode précédente basée sur l'entraînement (IDCTCL) de 1,6 %.
• Regroupement Multiple (MC) : La méthode a atteint un NMI de 99,9 % sur le jeu de données Fruit, surpassant nettement Multi-Sub (98,5 %).
• Regroupement Fin (FC) : Bien que les améliorations soient plus modestes en raison de la difficulté des distinctions subtiles, la méthode a atteint des résultats de pointe (ex: 89,9 % NMI sur CUB Birds) sans entraînement.
• Regroupement à Longue Traîne (LC) : Sur le jeu de données ABO-LC (78,7 % des clusters ont $\le$ 2 échantillons), HDBSCAN seul éprouvait des difficultés. Cependant, l'ajout de la traversée MST a amélioré l'indice de Rand ajusté (ARI) de 23,5 % à 37,9 % (pour GCPM-G), démontrant l'efficacité dans les distributions réelles et déséquilibrées.
• Efficacité : La traversée MST a considérablement réduit les appels au LLM par rapport à une comparaison par paires naïve. Par exemple, sur ImageNet-10, le ratio d'appels au LLM par rapport aux échantillons était de 0,86, alors que les approches naïves nécessiteraient des ordres de grandeur de plus d'appels.

Analyse du Modèle de Plongement : L'étude a révélé que les plongements basés sur MLLM (GCPM-G) surpassaient généralement les approches basées sur LLM (GCPM-E) et les encodeurs classiques sensibles aux instructions (GCPM-I). Cependant, dans les cas de fort enchevêtrement visuel (ex: cartes à jouer où le chiffre et la couleur sont visuellement mélangés), l'approche par proxy de concept textuel s'est avérée supérieure au plongement d'image direct.

5. Signification et Revendications

Les auteurs affirment que ce travail comble fondamentalement le fossé entre les algorithmes de regroupement rigides et spécifiques à une tâche et les exigences flexibles des applications réelles. En exploitant les directives textuelles, le cadre élimine le besoin de réentraînement lorsque les critères de regroupement changent.

La signification réside dans la conception hybride : elle combine l'efficacité computationnelle du regroupement traditionnel par plongement avec le raisonnement sémantique sophistiqué des LLM, mais uniquement là où cela est nécessaire. Cela permet au système de gérer :

• Critères Composites : Grouper par plusieurs attributs simultanément.
• Sémantique Abstraite : Comprendre des directives qui nécessitent un raisonnement au-delà de la simple similitude visuelle.
• Distributions à Longue Traîne : S'adapter à des jeux de données présentant un déséquilibre extrême des classes sans connaissance préalable du nombre de clusters.

L'article conclut que ce paradigme piloté par des directives offre une solution scalable et sans entraînement pour divers scénarios de regroupement d'images, surpassant les méthodes spécialisées qui nécessitent un entraînement dédié pour chaque nouvelle tâche ou jeu de données.