More Accurate, Less Human: Gestalt Grouping in Vision Models

Technische Zusammenfassung: Genauere, weniger menschlich: Gestalt-Gruppierung in Vision-Modellen

Problemstellung
Vision-Language-Modelle (VLMs) werden zunehmend in Visualisierungs-Pipelines eingesetzt, um Diagramme zu interpretieren, Designs zu bewerten und als Stellvertreter für menschliche Betrachter zu fungieren. Während diese Systeme eine hohe Benchmark-Genauigkeit bei der Aufgabenerfüllung aufweisen, bleibt ungeklärt, ob sie visuelle Informationen nach denselben perzeptuellen Regularitäten organisieren, die der menschlichen Wahrnehmung zugrunde liegen. Konventionelle Evaluierungen messen die Leistungsfähigkeit (z. B. Scores zur Visualisierungskompetenz), versäumen es jedoch, zwischen korrekten Antworten, die aus menschenähnlicher perzeptueller Gruppierung resultieren, und solchen zu unterscheiden, die auf grundlegend anderen, nicht-menschlichen Mechanismen beruhen. Das Paper argumentet, dass hohe Genauigkeit keine „Menschenähnlichkeit“ in der perzeptuellen Organisation etabliert, was einen Wechsel von Metriken der Aufgabenleistung hin zu einer Verhaltensausrichtung an der etablierten kognitiven Psychologie erforderlich macht.

Methodik
Die Autoren führen eine verhaltensbasierte Evaluationsbatterie ein, die auf der Gestaltpsychologie basiert und spezifisch die Prinzipien der Geschlossenheit (perzeptuelle Vervollständigung unvollständiger Strukturen) und der Ähnlichkeit (Gruppierung durch gemeinsame Attribute) testet. Anstatt neue Human-Daten zu erheben, nutzt die Methodik bereits vorhandene Stimuli und veröffentlichte menschliche Verhaltensdaten aus früheren Wahrnehmungsstudien als Evaluationsziele.

Die Batterie besteht aus vier Aufgaben über zwei Tracks (diagrammbasiert und natürliche Bildkontrollen):

1. Silhouetten-Erkennung (Geschlossenheit): Eine 16-Wege-Forced-Choice-Aufgabe auf gefüllten Silhouetten, bei der Textur- und Innendetails entfernt wurden. Der menschliche Anker ist die Modalantwort von zehn Beobachtern.
2. Mark-Color Odd-One-Out (Ähnlichkeit): Identifizierung des Ausreißers unter Markierungen basierend auf der Farbe, gewertet gegen einen Crowdsourced-Perzeptions-Kernel.
3. Farbreihen-Zählung (Ähnlichkeit): Zählen distinkter Farbreihen in einem Diagramm, gewertet gegen das veröffentlichte menschliche Kapazitätsband (6–12 Kategorien).
4. Objekt Odd-One-Out (Ähnlichkeit): Identifizierung des semantischen Ausreißers in natürlichen Bildern, gewertet gegen die Test-Retest-Obergrenze des THINGS-Datensatzes.

Die Studie evaluiert 45 Modelle aus fünf Trainingsfamilien: Supervised Encoders, Self-Supervised Encoders, Contrastive Vision–Language Encoders, Open-Weight VLMs und Closed Foundation Models.

Metriken
Drei komplementäre Metriken quantifizieren die Verhaltensausrichtung:

• Behavioral Agreement ($B$): Die Rate, mit der die Antwort eines Modells mit dem menschlichen Ziel (Modalwahl oder Kapazitätsband) übereinstimmt. Dies misst die Menschenähnlichkeit, nicht nur die Geschicklichkeit.
• Behavioral Error Consistency ($\kappa$): Ein Maß dafür, ob das Modell Fehler an denselben spezifischen Items macht wie Menschen, über das hinaus, was angesichts ihrer jeweiligen Genauigkeiten zufällig zu erwarten wäre. Dies wird mit einer Human–Human-Konsistenzobergrenze verglichen.
• Behavioral Effect Replication ($a(k)$): Ob das Genauigkeitsprofil des Modells über variierende Reihenanzahlen hinweg die Form der menschlichen Kapazitätskurve nachahmt.

Kernergebnisse

• Dissoziation von Genauigkeit und Menschenähnlichkeit: Hohe Benchmark-Genauigkeit garantiert keine Übereinstimmung mit der menschlichen perzeptuellen Organisation. Modelle tauschen oft die Plätze in den Rankings, je nach spezifischer Gruppierungsaufgabe (z. B. kann ein Top-Performer in der Farbaähnlichkeit durchschnittlich in der semantischen Gruppierung sein).
• Varianz der Fehlerkonsistenz: Während 34 von 45 Modellen die menschliche Genauigkeit übertrafen, erreichten nur vier Modelle eine Fehlerkonsistenz ($\kappa$), die an oder über der Human–Human-Obergrenze lag. Viele Modelle, einschließlich einiger geschlossener Foundation-Modelle, zeigen eine hohe Genauigkeit, scheitern aber daran, menschliche Fehlermuster zu replizieren.
• Familienspezifische Eigenschaften:
  • Open-Weight VLMs: Zeigten generell eine schwache Leistung; die meisten scheiterten daran, die Position-Guessing-Untergrenze bei semantischen Aufgaben zu überschreiten, was darauf hindeutet, dass ihre generierten Antworten die Gruppierungsfähigkeiten ihrer zugrunde liegenden Vision-Towers nicht widerspiegeln.
  • Closed Foundation Models: Zeigten eine Block-Ebene Verschiebung hin zu menschenähnlicher Gruppierung, wobei mehrere Modelle (z. B. Claude-Opus-4.6) sowohl überdurchschnittliche menschliche Genauigkeit als auch menschliche Fehlerkonsistenz erreichten. Diese Ausrichtung ist jedoch innerhalb des Tiers nicht uniform.
  • Trainingsziele: Die Art der Gruppierung, die ein Modell aufweist, folgt eher dem Trainingsziel als der Architektur. Self-supervised Training führte bei der Farbaähnlichkeit, während Contrastive Vision–Language Training bei der semantischen Gruppierung und Form führte.
• Aufgabenspezifität: Menschenähnliche Gruppierung ist kein globales Merkmal; ein Modell, das bei einer Aufgabe mit Menschen übereinstimmt, kann bei einer anderen stark divergieren.

Bedeutung und Behauptungen
Das Paper beansprucht, ein wiederverwendbares, theoriegestütztes Messinstrument zur Auditierung von Vision-Modellen bereitzustellen, die in Visualisierungs-Pipelines eingesetzt werden. Durch die Nutzung bestehender Psychophysik-Daten ermöglicht die Methodik Forschern zu bestimmen, ob ein Modell Diagramme so „sieht“, wie ein menschliches Publikum dies tut, ohne neue Nutzerstudien durchzuführen.

Die Autoren behaupten:

1. Verhaltensbasierte Fundierung ist messbar: Es ist möglich zu quantifizieren, ob Modelle visuelle Inhalte mittels menschenähnlicher Gestalt-Prinzipien organisieren.
2. Genauigkeit ist unzureichend: Konventionelle Metriken übersehen kritische Unterschiede in der perzeptuellen Organisation; ein Modell kann „genauer“ sein, aber in seiner Gruppierungslogik „weniger menschlich“.
3. Aufgabenspezifische Evaluation ist erforderlich: Kein einzelner Score zertifiziert ein Modell als menschlichen Stellvertreter. Audits müssen spezifisch für die Aufgabe sein (z. B. Gruppierung von Markierungen vs. Erkennung von Formen) und die Trainingsfamilie berücksichtigen.
4. Aktuelle Limitationen: Die Studie konzentriert sich auf isolierte Markierungen und Objekte (die Bausteine von Diagrammen) statt auf vollständige Diagrammkontexte (Achsen, Legenden) und deckt nur zwei Gestalt-Prinzipien ab (Geschlossenheit und Ähnlichkeit).

Die Arbeit kommt zu dem Schluss, dass einige geschlossene Foundation-Modelle ein Niveau der Verhaltensausrichtung erreicht haben, das sie als menschliche Stellvertreter für spezifische Aufgaben qualifiziert, doch diese Fähigkeit wird durch spezifische Trainingsrezepte und nicht allein durch Skalierung erworben und bleibt aufgabenabhängig.