VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

Imaginez un monde où les ordinateurs sont comme des bibliothécaires incroyablement intelligents qui ont lu tous les livres jamais écrits, mais qui n'ont jamais réellement vu d'image, de graphique ou d'écran. Pendant longtemps, ces bibliothécaires « uniquement textuels » pouvaient répondre à des questions sur ce qu'une image pourrait contenir sur la base de descriptions, mais ils ne pouvaient pas réellement voir l'image elle-même. Puis, un nouveau type de cerveau informatique appelé « Modèle de Langage-Vision » (VLM) est arrivé. Imaginez ces modèles comme des bibliothécaires à qui l'on a enfin ouvert les yeux : ils peuvent regarder une photo et lire le texte à l'intérieur, reliant ce qu'ils voient avec ce qu'ils savent. C'est une avancée majeure pour des domaines comme la cybersécurité, où les experts passent leurs journées à fixer des écrans complexes remplis de code, de cartes de réseau et d'alertes de sécurité. Cependant, la plupart de ces « super-yeux » sont gigantesques, coûteux et ne parlent que l'anglais, ce qui les rend inutiles pour les petites équipes ou pour ceux qui doivent garder leurs données totalement privées et hors ligne.

Ce document présente un nouveau cerveau informatique, minuscule et spécialisé, nommé VectraYX-Vision-1B. Il est conçu spécifiquement pour les experts en cybersécurité hispanophones qui ont besoin d'analyser des écrans de sécurité sans envoyer leurs données vers le cloud. Le chercheur a conçu ce modèle pour qu'il soit assez petit pour fonctionner sur un ordinateur portable ordinaire (moins de 2 milliards de paramètres) tout en étant capable de « réfléchir à voix haute » sur ce qu'il voit et même d'appeler à l'aide des outils externes. Mais voici le rebondissement : l'auteur est incroyablement honnête à propos d'un problème majeur. Bien que le modèle soit brillant pour parler espagnol et suivre des instructions, il a actuellement du mal à réellement comprendre les images qu'il regarde. C'est comme un étudiant qui peut écrire une dissertation parfaite en espagnol, mais qui reste figé devant une page blanche lorsqu'on lui demande de décrire un diagramme. Le document ne prétend pas avoir résolu cela pour l'instant ; au lieu de cela, il publie le plan de l'étudiant, les questions de l'examen et un mystère spécifique sur la façon dont le cerveau de l'étudiant est câblé, invitant les autres à aider à résoudre l'énigme.

L'histoire du petit détective de sécurité hispanophone

Le Problème : Des angles morts dans la sécurité
Les analystes de sécurité sont comme des détectives numériques. Ils passent leurs journées à regarder des écrans remplis de code, de trafic réseau et de journaux d'erreurs. Parfois, ils doivent déterminer si un logiciel est un virus, ou si un scan réseau révèle un danger caché. Jusqu'à présent, les outils d'IA qui les aidaient étaient soit trop volumineux pour être exécutés sur un ordinateur local (nécessitant une connexion au cloud, ce qui est proscrit pour les données secrètes), soit ils ne parlaient pas bien l'espagnol. Les « super-yeux » existants étaient également trop généraux ; ils étaient excellents pour décrire un chat ou un coucher de soleil, mais terribles pour lire l'écran d'un outil de sécurité complexe.

La Solution : Un détective sur mesure
L'auteur a construit VectraYX-Vision-1B, un modèle conçu dès le départ pour ce travail spécifique.

• Il est minuscule : Avec seulement 1,04 milliard de paramètres, il est assez petit pour tenir sur un ordinateur ordinaire, lui permettant de travailler dans des environnements « air-gapped » (des ordinateurs physiquement déconnectés d'Internet pour des raisons de sécurité).
• Il parle espagnol : Il a été entraîné spécifiquement pour comprendre et parler l'espagnol, le rendant accessible pour les équipes de sécurité d'Amérique latine.
• Il réfléchit à voix haute : Avant de donner une réponse, le modèle utilise des jetons spéciaux (comme ...) pour écrire son processus de raisonnement, de la même manière qu'un détective humain pourrait noter des indices avant de résoudre une affaire.
• Il peut utiliser des outils : Il peut même appeler des outils externes (comme un scanner) pour aider à l'enquête, en utilisant un jeton spécial d'« appel d'outil ».

Le Gros Problème : Le détective « aveugle »
C'est ici que l'histoire devient réelle. Le chercheur a entraîné ce modèle sur environ 16 millions de jetons de données (un mélange d'images de sécurité et de texte). Il s'attendait à ce que le modèle apprenne à regarder une capture d'écran d'un outil de sécurité et à expliquer ce qui se passe. Au lieu de cela, il a obtenu un résultat décevant : le modèle ignore principalement les images.

Lors de tests sur 50 captures d'écran de sécurité différentes, le modèle n'a pu identifier correctement l'outil utilisé que dans environ 8 % des cas (score de 0,08). Il pouvait écrire des phrases fluentes en espagnol, mais si on lui demandait ce qu'il y avait dans l'image, il se contentait souvent de deviner ou de halluciner, ignorant totalement le contenu visuel. L'auteur appelle cela un « résultat négatif », une façon élégante de dire : « Nous avons essayé, cela n'a pas encore fonctionné, et voici exactement pourquoi nous pensons que c'est le cas. »

Le Mystère : Un bug dans le câblage
Le document approfondit la question de savoir pourquoi cela s'est produit. Ils ont découvert deux choses principales :

1. Manque de pratique : Le modèle n'a tout simplement pas vu assez d'exemples d'images de sécurité pour apprendre à faire le lien. Le volume d'entraînement actuel est trop faible.
2. Un bug sournois : Au début, un bug logiciel a provoqué le chargement de poids aléatoires et non entraînés au lieu du cerveau intelligent qu'ils avaient construit. Cela donnait l'impression que le modèle s'était « effondré » ou avait échoué complètement, mais une fois le bug corrigé, le modèle fonctionnait réellement — il était juste encore trop peu performant pour voir.

La Grande Question : Le puzzle « NoPE »
La partie la plus excitante du document n'est pas l'échec, mais le mystère qu'il laisse derrière lui. Le cerveau du modèle utilise une astuce spéciale appelée NoPE (No Positional Encoding) sur chaque quatrième couche. La plupart des modèles d'IA utilisent un système qui indique l'ordre des mots ou des pixels (comme « premier », « deuxième », « troisième »). NoPE tente d'apprendre l'ordre de manière implicite.

L'auteur se demande : Est-ce que cette astuce NoPE aide ou nuit au modèle lorsqu'il regarde des images ?

• Hypothèse 1 : Peut-être que NoPE est excellent car les images (comme une grille de pixels) n'ont pas un ordre strict « de gauche à droite », donc forcer un ordre pourrait confondre le modèle.
• Hypothèse 2 : Peut-être que NoPE est mauvais car le modèle a été entraîné sur du texte (qui possède un ordre strict), donc il est confus face à une grille désordonnée de pixels d'image.

Le document publie la « recette » et le « test » de ce mystère, invitant d'autres scientifiques à mener l'expérience et à voir quelle hypothèse est vraie. Ils ne l'ont pas encore résolu, mais ils ont fourni à tout le monde les outils pour le découvrir.

Et après ?
L'auteur est très clair : ce n'est pas un produit fini. Le modèle est fonctionnel et peut fonctionner hors ligne, mais il n'est pas encore prêt à remplacer un analyste humain car il ne peut pas encore « voir » l'écran de manière fiable. Ils prévoient de lancer de nouveaux entraînements avec plus de données et une stratégie d'apprentissage différente pour corriger le problème de la vision.

En attendant, ils ont tout publié : le code, les données d'entraînement, les benchmarks et le modèle lui-même. Ils disent essentiellement : « Nous avons construit un détective de sécurité minuscule, hispanophone et cool, mais il est actuellement aveugle. Voici le plan, les questions de test et une question spécifique sur la façon dont son cerveau est câblé. Nous espérons que vous pourrez nous aider à lui apprendre à voir. »

Cette approche est rafraîchissante car elle privilégie l'honnêteté plutôt que le battage médiatique. Au lieu de prétendre que le modèle est parfait, ils admettent l'échec, expliquent les raisons techniques et transforment le problème en un défi ouvert pour la communauté. C'est un rappel que dans la science, savoir ce qui ne fonctionne pas est tout aussi précieux que de savoir ce qui fonctionne, surtout lorsque vous essayez de construire un outil aussi critique pour la protection des secrets numériques.