Efficient coding along the visual hierarchy
Diese Arbeit zeigt, dass ein unüberwachtes effizientes Kodierungsmodell, welches visuelle Eingaben basierend auf lokalen Statistiken ohne Labels oder Backpropagation komprimiert, erfolgreich eine menschenähnliche visuelle Hierarchie aus begrenzten Daten aufbaut, die Hirnantworten vorhersagt und das Lernen verstärkt, wenn es mit überwachtem Fine-Tuning kombiniert wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Ihr Gehirn wäre eine hochmoderne Kamera, die nicht nur Bilder aufnimmt, sondern lernt, die Welt allein durch das Beobachten zu verstehen. Im Gegensatz zur künstlichen Intelligenz (KI), wie man sie aus Filmen oder Videospielen kennt, die oft Millionen von Fotos „studieren“ muss, um zu lernen, wie eine Katze oder ein Auto aussieht, kann Ihr Gehirn Dinge aus nur einer Handvoll Beispielen erschließen. Wissenschaftler fragen sich schon lange: Wie macht das Gehirn das? Eine führende Idee dazu heißt „Efficient Coding“ (effiziente Kodierung). Denken Sie an etwas Ähnliches wie einen intelligenten Kompressionsalgorithmus. Anstatt zu versuchen, jedes einzelne Pixel jedes Bildes auswendig zu lernen, lernt das Gehr die „Regeln“, wie natürliche Bilder aufgebaut sind – etwa wie Kanten, Farben und Texturen normalerweise zusammenpassen. Indem es sich auf die häufigsten Muster konzentriert und das zufällige Rauschen ignoriert, baut das Gehirn eine mentale Bibliothek von Merkmalen auf, die ihm hilft, Dinge schnell zu erkennen. Die große Frage ist: Kann dieses einfache, unüberwachte „Lernen durch Hinsehen“ tatsächlich ein tiefes, komplexes Verständnis der Welt aufbauen, das von einfachen Linien bis hin zu komplexen Objekten reicht, ohne dass ein Lehrer vorhanden sein muss, der einem sagt, was was ist?
In einer neuen Studie beschlossen Forscher der Johns Hopkins University, diese Idee zu testen, indem sie ein Computermodell entwickelten, das diesen biologischen Lernstil nachahmt. Sie erschufen ein digitales Gehirn, das in Schichten lernt, ganz ähnlich wie das visuelle System in unseren Köpfen. Anstatt mit beschrifteten Bildern gefüttert zu werden (wie „das ist ein Hund“ oder „das ist ein Baum“), wurde dem Modell einfach tausende natürliche Bilder gezeigt, und es sollte die wichtigsten Muster darin finden. Es nutzte einen mathematischen Trick namens Hauptkomponentenanalyse (Principal Component Analysis, PCA), um die Informationen zu komprimieren, wobei es nur die dominantesten Variationen beibehielt – wie die häufigsten Farben oder Formen – und den Rest verworf.
Die Ergebnisse waren überraschend leistungsstark. Selbst ohne jegliche Etiketten oder Aufgaben lernte dieses „Efficient Coding“-Modell Merkmale, die sehr stark dem ähnelten, was das menschliche Gehirn sieht. Die frühen Schichten des Modells lernten, einfache Dinge wie Kanten und Farben zu erkennen. Doch während die Informationen tiefer in das Netzwerk vordrangen, begannen die Schichten, viel komplexere Dinge zu erkennen, wie Texturen, Formen und sogar ganze Objekte. Als die Forscher diese Merkmale mit menschlichen Probanden testeten, konnten die Menschen problemlos erkennen, was der Computer gerade „sah“, was darauf hindeutet, dass das Modell etwas sehr Ähnliches gelernt hatte, wie wir die Welt wahrnehmen.
Das Team testete auch einen „Hybrid“-Ansatz, bei dem es dem Modell erlaubte, diese Muster zuerst zu lernen, und ihm dann ein wenig überwachtes Training gab (so als würde man ihm ein paar beschriftete Beispiele zeigen), um seine Fähigkeiten zu verfeinern. Sie fanden heraus, dass dieses Hybridmodell unglaublich dateneffizient war. Während ein Standard-KI-Modell Millionen von Bildern benötigte, um gut zu lernen, konnte dieses Hybridmodell vorhersagen, wie menschliche Gehirne auf neue Bilder reagieren würden, nachdem es nur 1.000 Bilder gesehen hatte. Tatsächlich, als sie dem Hybridmodell nur ein Bild pro Kategorie gaben (insgesamt 1.000 Bilder für 1.000 Kategorien), übertraf es immer noch Standardmodelle, die mit der gleichen geringen Menge an Daten trainiert wurden.
Vielleicht war die spannendste Erkenntnis, dass diese Methode die KI zu einem viel schnelleren Lerner machte. Als die Forscher versuchten, dem Modell mit sehr wenigen Daten neue Kategorien beizubringen, lernte die Version, die mit Efficient Coding begann, viel schneller und genauer als ein Modell, das bei Null anfing. Es war, als hätte das Efficient Coding der KI einen „Vorsprung“ gegeben, indem es ihre interne Bibliothek von Merkmalen organisierte, noch bevor sie überhaupt mit dem Lernen für eine spezifische Prüfung begann. Die Studie legt nahe, dass Efficient Coding nicht nur für die frühen, einfachen Teile des Sehens gedacht ist; es könnte ein grundlegendes Prinzip sein, das unsere gesamte visuelle Hierarchie formt und hilft, dass biologische Gehirne aus so wenig Informationen so viel lernen können. Obwohl die Forscher anmerken, dass dies nicht bedeutet, dass überwachtes Lernen nicht wichtig ist, deutet ihre Arbeit darauf an, dass die Kombination aus der natürlichen Fähigkeit des Gehirns, Muster zu finden, mit gezieltem Aufgabentraining der Schlüssel zum Bau intelligenterer, effizienterer KI sein könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.