FineVision: Open Data Is All You Need
FineVision stellt das größte offene Korpus mit 24 Millionen sorgfältig kuratierten Vision-Language-Stichproben vor, das durch eine strenge halbautomatische Pipeline erstellt wurde, die über 200 Quellen unter menschlicher Aufsicht vereint, um Kontamination und Duplizierung zu eliminieren, und das es Modellen, die auf diesem Datensatz trainiert wurden, schließlich ermöglicht, bestehende offene Alternativen deutlich zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu sehen und zu verstehen, wie ein Mensch. Um dies zu tun, müssen Sie ihm Millionen von Bildern zeigen und ihm beibringen, darüber zu sprechen. Das ist es, was „Vision-Language Models" (VLMs) tun.
Bisher waren die für die Öffentlichkeit verfügbaren „Lehrbücher" (Datensätze) jedoch ein Chaos. Sie waren wie eine Bibliothek, in der einige Bücher in verschiedenen Sprachen geschrieben waren, einige Seiten herausgerissen waren, einige Tippfehler enthielten und einige sogar Kopien der Testfragen waren, anhand derer der Roboter später benotet werden sollte. Dies machte es für Open-Source-Roboter schwierig, so gut zu lernen wie die teuren, geheimen Roboter, die von großen Technologieunternehmen entwickelt wurden.
FineVision ist eine neue, riesige und sorgfältig bereinigte Bibliothek, die von Forschern von Hugging Face, der Technischen Universität München und der Stanford University erstellt wurde. Hier wird erklärt, wie sie sie aufgebaut haben und warum sie wichtig ist, einfach erklärt:
1. Die große Aufräumaktion (Datencuration)
Die Forscher sammelten Daten aus über 200 verschiedenen Quellen – von wissenschaftlichen Arbeiten bis hin zu Cloud-Speicherordnern. Doch sie einfach nur zusammenzuwerfen, hätte nicht funktioniert.
- Der Übersetzer: Sie bauten ein „halbautomatisches" System (unter Verwendung von KI-Helfern), um all diese verschiedenen Formate in eine Standardsprache zu übersetzen. Stellen Sie sich vor, Sie nehmen 200 verschiedene Arten von Rezepten (einige auf Französisch, einige auf Japanisch, einige auf Servietten geschrieben) und wandeln sie alle in ein einziges, leicht zu befolgendes Kochbuchformat um.
- Die menschlichen Redakteure: KI ist nicht perfekt. Daher agierten menschliche Prüfer als Redakteure. Sie überprüften die Arbeit der KI, korrigierten Fehler und sorgten dafür, dass die „Rezepte" sicher und genau waren. Wenn die KI bei einer Umwandlung einen Fehler machte, korrigierten die Menschen ihn und forderten die KI auf, es erneut zu versuchen.
- Die Deduplizierung: Sie verwendeten einen speziellen „Kopie-Detektor", um doppelte Bilder zu finden und zu entfernen. Wenn dasselbe Bild einer Katze 50 Mal in der Bibliothek erschien, behielten sie nur eines (oder fusionierten sie zu einem einzigen, reichhaltigeren Gespräch), damit der Roboter nicht einfach immer wieder dieselbe Katze auswendig lernte.
- Die Test-Safe-Zone: Sie überprüften die Bibliothek gegen 66 Standardtests, die zur Benotung dieser Roboter verwendet werden. Wenn sie ein Bild in der Bibliothek fanden, das mit einem Bild in einem zukünftigen Test identisch war, entfernten sie es. Dies stellt sicher, dass der Roboter tatsächlich lernt und nicht einfach durch Auswendiglernen der Antworten betrügt.
2. Was ist in der Bibliothek enthalten?
Das Endergebnis ist FineVision, eine Sammlung von 24 Millionen Beispielen (etwa 17 Millionen Bilder). Es ist nicht nur ein Haufen Bilder; es ist in Gespräche organisiert.
- Vielfalt: Es deckt alles ab, von einfachen „Was ist das?"-Fragen bis hin zu komplexen Aufgaben wie dem Lesen eines Diagramms, dem Lösen von Matheaufgaben oder dem Verstehen eines Dokuments.
- Der „Aktion"-Abschnitt: Ein spezieller Teil der Bibliothek lehrt dem Roboter, wie man Computeroberflächen bedient (wie das Klicken mit einer Maus oder das Tippen auf einem Handybildschirm). Sie standardisierten dies, damit der Roboter eine universelle „Sprache der Aktion" lernt, die auf Desktops, Handys und Browsern funktioniert.
- Qualitätskontrolle: Jedes einzelne Gespräch in der Bibliothek wurde von KI-Richtern (und von Menschen überprüft) nach vier Kriterien bewertet:
- Formatierung: Ist der Text sauber und lesbar?
- Relevanz: Passt die Antwort tatsächlich zur Frage?
- Visuelle Abhängigkeit: Muss die Antwort auf das Bild schauen, um korrekt zu sein?
- Korrespondenz: Zeigt das Bild tatsächlich das, worum es in der Frage geht?
3. Die Ergebnisse: Funktioniert es?
Die Forscher trainierten ein kleines Robotermodell mit dieser neuen Bibliothek und verglichen es mit Modellen, die auf anderen beliebten, chaotischen Bibliotheken trainiert wurden.
- Die Punktzahl: Der auf FineVision trainierte Roboter erzielte bei 11 verschiedenen Tests deutlich höhere Werte. Er schlug die bisherigen besten Open-Source-Bibliotheken mit einem großen Abstand (Verbesserung der Leistung um etwa 11 % bis 38 %, je nach Konkurrent).
- Der „Betrugs"-Test: Als sie die wenigen verbleibenden „Betrugs"-Bilder (Daten, die möglicherweise aus den Tests durchgesickert waren) aus den Trainingsdaten entfernten, sank die Leistung des FineVision-Roboters kaum. Im Gegensatz dazu fiel die Leistung der anderen Roboter signifikant. Dies beweist, dass FineVision dem Roboter beigebracht hat, zu verstehen und nicht nur auswendig zu lernen.
- Die GUI-Magie: Der auf FineVision trainierte Roboter war auch viel besser darin, Computerbildschirme zu navigieren (Schaltflächen klicken, tippen) als andere kleine Modelle und schnitt ebenso gut ab wie Modelle, die viermal größer waren.
Das Fazit
Die Studie behauptet, dass saubere, vielfältige und gut organisierte Daten das Geheimnis sind. Sie benötigen nicht unbedingt ein größeres Modell oder einen geheimen Datensatz; Sie brauchen nur eine bessere Bibliothek. FineVision beweist, dass Open-Source-Modelle durch die Bereinigung der Daten und ihre sorgfältige Organisation endlich mit den großen Closed-Source-Modellen Schritt halten können.
Die Forscher haben die Bibliothek und die Tools, die sie zur Bereinigung verwendet haben, veröffentlicht, in der Hoffnung, der gesamten Gemeinschaft zu helfen, intelligentere und zuverlässigere KI-Visionsysteme zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.