TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Imaginez un ordinateur essayant de comprendre une photographie. Pour ce faire, la machine décompose l'image en des milliers de minuscules morceaux, traitant chaque pièce comme une unité d'information distincte. À mesure que ces modèles sont devenus plus sophistiqués, ils ont appris à traiter ces morceaux avec un détail incroyable, mais cela se fait à un coût élevé. Plus l'image est détaillée, plus l'ordinateur doit conserver de morceaux dans sa mémoire à court terme pour les comprendre. Cela crée un goulot d'étranglement : l'ordinateur manque d'espace ou met trop de temps à réfléchir, surtout lorsque l'image est de haute résolution ou lorsque la conversation nécessite une réponse longue et détaillée. Pendant des années, les chercheurs ont tenté de résoudre ce problème en apprenant à l'ordinateur à ignorer les morceaux les moins importants de l'image, dans l'espoir de garder les plus intelligents et de rejeter le reste.

Cependant, une nouvelle étude suggère que la manière dont les scientifiques ont testé ces stratégies d'« ignorance » était fondamentalement erronée. Pendant longtemps, le domaine s'est appuyé sur des tests où l'ordinateur n'avait besoin de donner qu'une réponse d'un seul mot, comme choisir une lettre dans une liste à choix multiples ou dire « oui » ou « non ». Les chercheurs derrière ce nouveau travail, appelé TwinPrune, ont découvert que ces tests simples ne mesurent que la capacité de l'ordinateur à comprendre l'image au tout début du processus. Ils ne parviennent pas à détecter ce qui se passe lorsque l'ordinateur doit continuer à parler, en utilisant sa mémoire pour générer de longues phrases. En fait, l'étude montre qu'une méthode peut sembler parfaite sur ces tests simples tout en échouant complètement lorsqu'on lui demande de rédiger une description plus longue, car les tests simples ne vérifient jamais réellement la partie processus de la mémoire.

Pour corriger cela, l'équipe a développé une nouvelle façon de décider quels morceaux d'une image valent la peine d'être conservés. Au lieu de regarder à quel point un morceau de l'image se distingue par rapport à une question spécifique, ils ont regardé à quel point un morceau est unique par rapport à ses voisins immédiats. Si une zone de l'image ressemble beaucoup aux zones qui l'entourent, elle est probablement redondante et peut être supprimée en toute sécurité. Si elle semble différente, elle contient probablement des informations importantes. Ce score de « densité » est calculé une seule fois au début et utilisé pour deux tâches différentes. Premièrement, il aide l'ordinateur à fusionner les morceaux similaires de l'image avant qu'il ne commence à réfléchir, ce qui économise de la puissance de calcul. Deuxièmement, il aide l'ordinateur à décider quels morceaux d'information il doit jeter de sa mémoire pendant qu'il rédige une réponse longue, garantissant ainsi qu'il conserve les détails les plus uniques et les plus utiles.

Les chercheurs ont testé cette approche sur plusieurs types de modèles de vision-langage, allant de systèmes plus petits aux systèmes massifs possédant des milliards de paramètres. Ils ont comparé leur méthode aux meilleures techniques existantes en utilisant à la fois les anciens tests simples et les nouveaux tests plus exigeants qui nécessitent des réponses longues. Sur les tests simples, leur méthode a performé aussi bien que les meilleurs concurrents. Mais sur les tests exigeants, où l'ordinateur devait générer des phrases complètes, la différence est flagrante. Alors que les autres méthodes provoquaient un effondrement de la précision de l'ordinateur lorsqu'on lui demandait d'être concis, la nouvelle méthode maintenait une précision élevée même en ne conservant qu'une infime fraction des données d'origine de l'image. Par exemple, sur un benchmark spécifique impliquant du texte dans les images, la nouvelle méthode a surpassé la deuxième meilleure technique de près de dix points de pourcentage lorsque la mémoire était sévèrement restreinte.

Peut-être plus important encore, l'étude a révélé que l'ancienne façon de tester avait caché un problème majeur. Lorsque les chercheurs ont supprimé toute la mémoire visuelle de l'ordinateur pendant la phase d'écriture, les tests simples n'ont montré presque aucun changement de performance, tandis que les tests de réponses longues ont montré une chute massive de la qualité. Cela a prouvé que les tests simples étaient aveugles à ce qui compte le plus pour une utilisation réelle : la capacité de se souvenir et de récupérer des informations sur une longue conversation. La nouvelle méthode, en utilisant une règle unique et cohérente pour gérer à la fois la réflexion initiale et la mémoire à long terme, a réussi à accélérer le traitement initial de l'ordinateur de plus de trois fois tout en réduisant considérablement l'empreinte mémoire.

Les conclusions suggèrent que le domaine a optimisé le mauvais indicateur. En déplaçant l'attention vers des tests qui nécessitent des réponses complètes et de longue forme, les chercheurs ont montré qu'il est possible de rendre ces ordinateurs puissants beaucoup plus rapides et efficaces sans sacrifier leur capacité à comprendre des scènes complexes. L'approche fonctionne de manière constante à travers différentes tailles de modèles, des petits appareils aux plus grands supercalculateurs, et ne nécessite pas de réentraînement de l'ordinateur. Elle offre une voie pratique pour le déploiement de ces systèmes avancés sur des appareils du quotidien, garantissant qu'ils puissent gérer des images haute résolution et de longues conversations sans tomber en panne de ressources.