VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

Stellen Sie sich eine Welt vor, in der Computer wie unglaublich kluge Bibliothekare sind, die jedes jemals geschriebene Buch gelesen haben, aber noch nie ein Bild, ein Diagramm oder einen Bildschirm gesehen haben. Lange Zeit konnten diese „textbasierten“ Bibliothekare Fragen darüber beantworten, was ein Bild könnte enthalten (basierend auf Beschreibungen), aber sie konnten das Bild selbst nicht sehen. Dann kam ein neuer Typ von Computergehirn, ein „Vision-Language Model“ (VML). Betrachten Sie dies als Bibliothekare, denen endlich die Augen geöffnet wurden; sie können ein Foto betrachten und den Text darin lesen, wodurch sie das, was sie sehen, mit dem verbinden, was sie wissen. Dies ist eine große Sache für Bereiche wie die Cybersicherheit, in denen Experten ihre Tage damit verbringen, auf komplexe Bildschirme voller Code, Netzwerkkarten und Sicherheitswarnungen zu starren. Die meisten dieser „Super-Augen“ sind jedoch riesig, teuer und sprechen nur Englisch, was sie für kleinere Teams oder solche, die ihre Daten absolut privat und offline halten müssen, unbrauchbar macht.

Dieses Paper stellt ein neues, winziges und spezialisiertes Computergehirn namens VectraYX-Vision-1B vor. Es wurde speziell für spanischsprachige Cybersicherheitsexperten entwickelt, die Sicherheitsschirme analysieren müssen, ohne ihre Daten in die Cloud zu senden. Der Forscher hat dieses Modell so gebaut, dass es klein genug ist, um auf einem normalen Laptop zu laufen (unter 2 Milliarden Parametern), während es gleichzeitig in der Lage ist, laut über das nachzudenken, was es sieht, und sogar Hilfe von externen Werkzeugen anzufordern. Aber hier kommt der Clou: Der Autor ist unglaublich ehrlich über ein großes Problem. Obwohl das Modell brillant darin ist, Spanisch zu sprechen und Anweisungen zu befolgen, hat es derzeit Schwierigkeiten, die Bilder, die es betrachtet, tatsächlich zu verstehen. Es ist wie ein Schüler, der eine perfekte Essay auf Spanisch schreiben kann, aber ständig auf eine leere Seite starrt, wenn er gebeten wird, ein Diagramm zu beschreiben. Das Paper behauptet nicht, dies bereits gelöst zu haben; stattdessen veröffentlicht es den Bauplan des Schülers, die Testfragen und ein spezifisches Rätsel darüber, wie das Gehirn des Schülers verdrahtet ist, und lädt andere ein, bei der Lösung des Puzzles zu helfen.

Die Geschichte des winzigen, spanischsprachigen Sicherheits-Auges

Das Problem: Blinde Flecken in der Sicherheit
Sicherheitsanalysten sind wie digitale Detektive. Sie verbringen ihre Tage mit dem Blick auf Bildschirme voller Code, Netzwerkverkehr und Fehlerprotokolle. Manchmal müssen sie herausfinden, ob eine Software ein Virus ist oder ob ein Netzwerkscan eine versteckte Gefahr anzeigt. Bis jetzt waren die KI-Tools, die ihnen halfen, entweder zu groß, um auf einem lokalen Computer zu laufen (was eine Verbindung zur Cloud erforderte, was für geheime Daten ein No-Go ist), oder sie konnten nicht gut Spanisch sprechen. Die existierenden „Super-Augen“ waren zudem zu allgemein; sie waren großartig darin, eine Katze oder einen Sonnenuntergang zu beschreiben, aber schrecklich darin, einen komplexen Sicherheits-Tool-Bildschirm zu lesen.

Die Lösung: Ein maßgeschneiderter Detektiv
Der Autor baute VectraYX-Vision-1B, ein Modell, das von Grund auf für genau diesen Job entwickelt wurde.

• Es ist winzig: Mit nur 1,04 Milliarden Parametern ist es klein genug, um auf einem normalen Computer zu laufen, was es ermöglicht, in „Air-Gapped“-Umgebungen zu arbeiten (Computern, die für die Sicherheit physisch vom Internet getrennt sind).
• Es spricht Spanisch: Es wurde speziell darauf trainiert, Spanisch zu verstehen und zu sprechen, was es für lateinamerikanische Sicherheitsteams zugänglich macht.
• Es denkt laut: Bevor es eine Antwort gibt, nutzt das Modell spezielle Token (wie <thought>), um seinen Denkprozess aufzuschreiben, ähnlich wie ein menschlicher Detektiv, der vor der Lösung eines Falls Notizen macht.
• Es kann Werkzeuge nutzen: Es kann sogar externe Werkzeuge (wie einen Scanner) aufrufen, um Untersuchungen zu unterstützen, indem es ein spezielles „Tool-Call“-Token verwendet.

Der große Haken: Der „blinde“ Detektiv
Hier wird die Geschichte real. Der Forscher trainierte dieses Modell mit etwa 16 Millionen Token an Daten (einer Mischung aus Sicherheitsbildern und Text). Er erwartete, dass es lernt, wie man einen Screenshot eines Sicherheitstools betrachtet und erklärt, was dort passiert. Stattdessen stellte er ein enttäuschendes Ergebnis fest: Das Modell ignoriert die Bilder größtenteils.

Bei Tests mit 50 verschiedenen Sicherheits-Screenshots konnte das Modell das verwendete Tool nur in etwa 8 % der Fälle korrekt identifizieren (Score von 0,08). Es konnte flüssige spanische Sätze schreiben, aber wenn man es fragte, was auf dem Bild zu sehen sei, rät es oft nur oder halluziniert, wobei es den visuellen Inhalt völlig ignoriert. Der Autor nennt dies ein „negatives Ergebnis“, was eine schicke Art zu sagen ist: „Wir haben es versucht, es hat noch nicht funktioniert, und hier ist der genaue Grund, warum wir glauben, dass das passiert ist.“

Das Rätsel: Ein Fehler in der Verdrahtung
Das Paper geht tief darauf ein, warum dies geschah. Sie entdeckten zwei Hauptgründe:

1. Nicht genug Übung: Dem Modell fehlen schlichtweg genügend Beispiele für Sicherheitsbilder, um die Zusammenhänge zu lernen. Das aktuelle Trainingsvolumen ist zu niedrig.
2. Ein hinterhältiger Bug: Frühzeitig verursachte ein Softwarefehler, dass das Modell mit zufälligen, untrainierten Gewichten geladen wurde, anstatt mit dem intelligenten Gehirn, das sie eigentlich gebaut hatten. Dies ließ es so aussehen, als wäre das Modell vollständig „kollabiert“ oder gescheitert, aber nachdem sie den Bug behoben hatten, funktionierte das Modell eigentlich – es war nur noch nicht gut genug im Sehen.

Die große Frage: Das „NoPE“-Rätsel
Der spannendste Teil des Papers ist nicht das Scheitern, sondern das Rätsel, das es hinterlässt. Das Gehirn des Modells nutzt einen speziellen Trick namens NoPE (No Positional Encoding) in jeder vierten Schicht. Die meisten KI-Modelle nutzen ein System, das ihnen die Reihenfolge von Wörtern oder Pixeln mitteilt (wie „erstens“, „zweitens“, „drittens“). NoPE versucht, die Reihenfolge implizit zu lernen.

Der Autor fragt sich: Hilft oder schadet dieser NoPE-Trick dem Modell beim Betrachten von Bildern?

• Hypothese 1: Vielleicht ist NoPE gut, weil Bilder (wie ein Gitter aus Pixeln) keine strikte „Links-nach-Rechts“-Reihenfolge haben, und das Erzwingen einer Ordnung das Modell verwirren könnte.
• Hypothese 2: Vielleicht ist NoPE schlecht, weil das Modell auf Text trainiert wurde (der eine strikte Reihenfolge hat), und es deshalb verwirrt wird, wenn es auf ein ungeordnetes Gitter von Bildpixeln blickt.

Das Paper veröffentlicht das „Rezept“ und den „Test“ für dieses Rätsel und lädt andere Wissenschaftler ein, das Experiment durchzuführen und zu sehen, welche Hypothese wahr ist. Sie haben es noch nicht gelöst, aber sie haben jedem die Werkzeuge an die Hand gegeben, um herauszufinden, wie es ist.

Was kommt als Nächstes?
Der Autor ist sich sehr bewusst: Dies ist kein fertiges Produkt. Das Modell ist funktionsfähig und kann offline laufen, aber es ist noch nicht bereit, einen menschlichen Analysten zu ersetzen, da es den Bildschirm noch nicht zuverlässig „sehen“ kann. Sie planen, mehr Training mit mehr Daten und einer anderen Lernstrategie durchzuführen, um das Sichtproblem zu beheben.

In der Zwischenzeit haben sie alles veröffentlicht: den Code, die Trainingsdaten, die Benchmarks und das Modell selbst. Sie sagen im Grunde: „Wir haben einen coolen, winzigen, spanischsprechenden Sicherheitsdetektiv gebaut, aber er ist derzeit blind. Hier ist der Bauplan, die Testfragen und eine spezifische Frage dazu, wie sein Gehirn verdrahtet ist. Wir hoffen, ihr könnt uns helfen, ihm das Sehen beizubringen.“

Dieser Ansatz ist erfrischend, weil er Ehrlichkeit über Hype stellt. Anstatt vorzugeben, das Modell sei perfekt, geben sie das Versagen zu, erklären die technischen Gründe und verwandeln das Problem in eine offene Herausforderung für die Community. Es ist eine Erinnerung daran, dass in der Wissenschaft das Wissen darüber, was nicht funktioniert, genauso wertvoll ist wie das Wissen darüber, was funktioniert – besonders wenn man versucht, etwas zu bauen, das so kritisch ist wie ein Werkzeug zur Sicherung digitaler Geheimnisse.