Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que les seuls indices dont vous disposez soient une série de dessins colorés. Ces dessins sont des diagrammes à barres, le genre que l'on voit dans les articles de presse ou les rapports scolaires, où des barres de hauteurs différentes racontent une histoire de nombres. Pour les humains, lire ces graphiques est facile : nous regardons simplement la hauteur d'une barre et devinons le nombre. Mais pour un ordinateur, un graphique n'est qu'une image faite de pixels. Il ne sait pas qu'un grand rectangle bleu signifie « 500 dollars » ou qu'une minuscule graduation sur le côté signifie « 100 ». Pour une machine, la donnée est cachée à l'intérieur de l'art.

C'est ici qu'intervient un domaine appelé « vision par ordinateur ». C'est la branche de la science qui apprend aux ordinateurs à « voir » et à comprendre les images. Habituellement, pour apprendre à un ordinateur à lire un graphique, il faut lui montrer des milliers d'exemples où un humain a déjà écrit les réponses. C'est comme si un professeur s'asseyait à côté de l'ordinateur pendant des heures, pointant chaque barre et disant : « Ceci est 50, ceci est 100 ». Mais dans le monde réel, trouver des milliers de graphiques avec des réponses parfaitement écrites est incroyablement difficile et lent. C'est comme essayer de trouver une aiguille dans une botte de foin, sauf que la botte de foin est faite de papier et que les aiguilles sont manquantes. Ce document explore une nouvelle façon ingénieuse d'apprendre aux ordinateurs à lire ces graphiques sans avoir besoin qu'un humain étiquette chaque exemple au préalable.

Les chercheurs derrière cette étude, Poonam Poonam et son équipe de l'Université d'Ulm en Allemagne, voulaient résoudre le problème du « dé-rendu de graphique » (chart de-rendering). C'est une façon sophistiquée de dire « prendre la photo d'un graphique et la transformer à nouveau en données brutes ». Ils ont remarqué que si les ordinateurs sont excellents pour reconnaître des chats ou des voitures, ils ont du mal avec la géométrie spécifique des graphiques, surtout lorsque les graphiques présentent des tailles différentes ou des arrière-plans désordonnés.

Pour s'attaquer à cela, ils ont utilisé un type spécial d'architecture d'IA appelé JEPA (Joint-Embedding Predictive Architecture). Considérez JEPA non pas comme un étudiant qui mémorise des réponses, mais comme un explorateur curieux qui apprend en jouant à un jeu de devinettes. Au lieu de se voir dire « cette barre est 50 », l'IA se voit montrer l'image d'un graphique dont une grande partie est masquée. Elle doit deviner à quoi ressemble la partie cachée en se basant sur les parties visibles. En jouant à ce jeu encore et encore avec des millions de graphiques, l'IA apprend les « règles » de fonctionnement des graphiques — comment les barres sont liées aux graduations, comment les axes sont tracés, et ce qu'est réellement une « barre » dans un sens mathématique profond. C'est ce qu'on appelle l'« apprentissage auto-supervisé » car l'ordinateur s'enseigne à lui-même en utilisant les motifs qu'il trouve dans les données, plutôt que d'attendre qu'un humain lui donne un manuel.

L'équipe a construit un pipeline qu'ils appellent « Bar-JEPA ». D'abord, ils ont entraîné cet explorateur d'IA sur une vaste bibliothèque de 100 000 graphiques à barres générés par ordinateur. Ils n'ont pas seulement utilisé des images standards ; ils ont modifié l'IA pour qu'elle puisse gérer des graphiques de toutes formes et tailles différentes, afin qu'elle ne soit pas confuse si un graphique est haut et étroit ou court et large. Une fois que l'IA a appris le « langage » des graphiques, ils y ont attaché un « décodeur » simple et léger. Le travail de ce décodeur est de regarder la compréhension de l'IA et de pointer précisément où se trouvent les barres et les chiffres.

Les résultats ont été très prometteurs. Lorsqu'ils ont testé leur système sur des graphiques réels (ceux que l'on trouve dans un journal), l'IA qui avait appris grâce à ce jeu de devinettes auto-supervisé était bien meilleure pour trouver les barres et lire les chiffres qu'une IA standard qui n'avait pas été entraînée de cette manière. En fait, sans cet entraînement spécial, l'ordinateur était presque complètement perdu, échouant à trouver la moindre valeur. Avec l'entraînement JEPA, il pouvait récupérer les données avec une précision bien plus élevée. Le document suggère que cette méthode est un moyen puissant et efficace de permettre aux ordinateurs de comprendre les graphiques, surtout lorsque vous ne disposez pas d'une énorme pile de données pré-étiquetées.

Cependant, les auteurs prennent soin de ne pas prétendre qu'il s'agit de la solution finale et parfaite. Ils admettent que leur système est encore un peu simple ; il ne peut lire que des graphiques à barres verticales et éprouve des difficultés avec des types plus complexes comme les barres empilées ou les graphiques en 3D. Il n'est pas non plus encore le meilleur système au monde, mais il prouve que l'enseignement à un ordinateur pour qu'il « devine » d'abord la structure d'un graphique est une astuce puissante. Ils suggèrent qu'à l'avenir, cet explorateur d'IA intelligent pourrait être couplé à des outils encore plus puissants, comme les grands modèles de langage, pour non seulement lire les chiffres, mais aussi répondre à des questions sur les données, telles que « Quelle barre est la plus grande ? » ou « Quel est le total ? ». Pour l'instant, cependant, Bar-JEPA montre que parfois, la meilleure façon d'apprendre à un ordinateur à voir est de le laisser résoudre le puzzle par lui-même.