Attractor strength identifies classifier label geometry as construct- irrelevant variance in machine-scored developmental drawing assessment
Diese Studie zeigt, dass in maschinell bewerteten entwicklungsdiagnostischen Zeichnungsbeurteilungen die wahrgenommene Schwierigkeit beim Zeichnen spezifischer Objekte weitgehend durch konstruktirrelevante Varianz getrieben wird, die aus der Klassifikator-Label-Geometrie der Scoring-Pipeline resultiert, anstatt aus der tatsächlichen Entwicklungsfähigkeit des Kindes, wodurch Einzel-Prompt-Scores unzuverlässig werden und Attraktor-angepasste Metriken für valide Pipeline-übergreifende Vergleiche notwendig werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit hundert Jahren glauben Psychologen, dass eine Zeichnung eines Kindes ein direktes Fenster in seinen Geist sei. Die Idee ist einfach und beständig: Wenn man ein Kind bittet, eine Person oder ein Haus zu zeichnen, offenbart die Qualität dieser Skizze, wie sich sein Gehirn entwickelt hat. Dieser Glaube hat Jahrzehnte des Testens vorangetrieben, bei dem Pädagogen und Kliniker die Kunstwerke eines Kindes betrachten, um dessen Intelligenz oder emotionale Gesundheit zu beurteilen. Die Annahme war stets, dass die Zeichnung ein neutrales Abbild des Kindes ist und dass das spezifische Objekt, das es zeichnen sollte – eine Katze, ein Baum oder ein Auto – keine Rolle spielt. Das Objekt ist nur ein Impuls, eine leere Leinwand, auf die das Kind seine Fähigkeiten projiziert. Aber was wäre, wenn das Objekt selbst nicht neutral ist? Was wäre, wenn das spezifische Ding, das ein Kind zeichnen soll, die Punktzahl mehr verändert als die eigene Entwicklung des Kindes?
Eine neue Studie stellt diese jahrhundertealte Annahme infrage, indem sie Tausende von Zeichnungen durch die Linse moderner Computer Vision betrachtet. Forscher sammelten eine riesige Kollektion von 37.770 Zeichnungen, die von über 8.000 Kindern im Alter zwischen zwei und zehn Jahren angefertigt wurden. Diese Kinder wurden gebeten, 48 verschiedene Objekte zu zeichnen, die von Tieren wie Katzen und Walen bis hin zu Alltagsgegenständen wie Stühlen und Scheren reichten. Anstatt menschliche Experten die Zeichnungen bewerten zu lassen, verwendeten die Forscher zwei verschiedene Computerprogramme, um sie zu bewerten. Diese Programme, die darauf trainiert waren, Skizzen zu erkennen, vergaben eine Punktzahl basierend darauf, wie gut die Zeichnung dem beabsichtigten Objekt entsprach. Das Ziel war es zu sehen, ob die Punktzahl tatsächlich die Geschicklichkeit des Kindes widerspiegelt oder ob sie heimlich durch die Schwierigkeit des Objekts selbst angetrieben wird.
Die Ergebnisse waren erschütternd. Als die Forscher die Zahlen aufbrachen, fanden sie heraus, dass das Objekt, das das Kind zeichnen sollte, wichtiger war als das Kind, das es zeichnete. Tatsächlich machte die spezifische Kategorie des Objekts einen größeren Teil der Variation in den Punktzahlen aus als das Alter oder die Fähigkeit des Kindes. Um dies in Perspektive zu setzen: Der Unterschied im Schwierigkeitsgrad zwischen dem Zeichnen einer „Schnecke“ und dem Zeichnen eines „Tigers“ entsprach einem Unterschied von vier bis sieben Jahren der natürlichen Entwicklung eines Kindes. Wenn ein Kind eine Schnecke zeichnete, erhielt es eine Punktzahl, die es so aussehen ließ, als sei es viel älter und geschickter als ein Kind, das einen Tiger zeichnete, selbst wenn beide Kinder gleich alt waren und über dieselbe Fähigkeit verfügten. Die Computerprogramme massen nicht nur das Kind; sie wurden stark durch den spezifischen Prompt beeinflusst.
Die Forscher gruben tiefer, um zu verstehen, warum dies geschah. Sie prüften, ob die Ergebnisse einfach darauf basierten, dass manche Objekte schwieriger zu zeichnen sind als andere, oder ob Kinder bestimmte Dinge öfter zeichnen. Sie passten die Punktzahlen an, um die Fähigkeit der Kinder beim Nachfahren von Formen, die Zeit, die sie mit dem Zeichnen verbrachten, und die Vertrautheit mit dem Objekt zu berücksichtigen. Selbst nach diesen Anpassungen dominierte das Objekt die Punktzahl. Die Studie schloss die Idee aus, dass dies lediglich eine Frage der motorischen Fähigkeiten oder der Übung war. Stattdessen lag das Problem darin, wie die Computerprogramme selbst funktionierten.
Die Computerprogramme, die zur Bewertung der Zeichnungen verwendet wurden, besitzen einen verborgenen Bias (eine Voreingenommenheit), der in ihr Design eingebaut ist. Sie behandeln nicht alle Objekte als gleichermaßen wahrscheinlich erscheinend. Einige Objekte, wie eine Schnecke, sind „Attraktoren“ für den Computer; das Programm ist natürlich dazu geneigt, eine Schnecke zu sehen, selbst wenn es auf eine Zeichnung von etwas anderem blickt. Andere Objekte, wie ein Tiger, sind für das Programm schwerer zu erkennen, sodass das Programm dieses Label selten zuweist, es sei denn, die Zeichnung ist perfekt. Das bedeutet, dass ein Kind, das eine Schnecke zeichnet, eine hohe Punktzahl erhält, weil der Computer bestrebt ist, „Schnecke“ zu sagen, während ein Kind, das einen Tiger zeichnet, eine niedrige Punktzahl erhält, weil der Computer zögerlich ist. Dieser Bias ist eine Eigenschaft der internen Logik des Computers, nicht der Fähigkeit des Kindes. Es ist eine Form der Unfairness, die in der psychologischen Testung noch nie zuvor gesehen wurde, wo das Bewertungswerkzeug selbst die Schwierigkeit erzeugt.
Die Konsequenzen dieser Erkenntnis sind erheblich für die Art und Weise, wie wir Kinder bewerten. Die Studie zeigte, dass die Verwendung einer einzigen Zeichnung, um die Entwicklung eines Kindes zu beurteilen, unzuverlässig ist. Wenn ein Kind gebeten wird, ein einzelnes Objekt zu zeichnen, ist seine Punktzahl wahrscheinlich eher ein Resultat der Schwierigkeit des Objekts als seines eigentlichen Geistes. Um eine zuverlässige Punktzahl zu erhalten, die für individuelle Entscheidungen verwendet werden könnte, müsste ein Kind zwischen 26 und 32 verschiedene Objekte zeichnen. Dies ist weit mehr, als jeder aktuelle Test verlangt. Die Forscher fanden auch heraus, dass die Schwierigkeit eines Objekts kein feststehender Fakt ist. Eine Zeichnung einer Schnecke mag für das eine Computerprogramm einfach sein, für ein anderes jedoch schwierig, je nachdem, wie dieses spezifische Programm gebaut wurde. Dies bedeutet, dass „Normtabellen“, also Listen, die verwendet werden, um die Punktzahl eines Kindes mit der anderer zu vergleichen, man nicht darauf vertrauen kann, über verschiedene Testsysteme hinweg zu funktionieren.
Letztendlich zeigt die Studie, dass das Fenster, durch das wir zu schauen glaubten, eigentlich ein Rahmen ist, der die Sicht verzerrt. Die Punktzahl, die ein Kind erhält, ist eine Mischung aus drei Dingen: der Fähigkeit des Kindes, dem Objekt, das es gezeichnet hat, und dem Bias des Computers. Zum ersten Mal haben die Forscher gezeigt, wie man den Bias des Computers von der Fähigkeit des Kindes trennen kann. Indem sie messen, wie stark ein Computerprogramm natürlich zu bestimmten Labels hingezogen wird, können sie die Punktzahlen anpassen, um diese künstliche Schwierigkeit zu entfernen. Diese Anpassung ändert nicht die Punktzahl des Kindes, aber sie ändert dessen Bedeutung. Sie ermöglicht es Forschern, die wahre Entwicklung des Kindes ohne die Interferenz der Präferenzen des Computers zu sehen. Die Lektion ist klar: Um den Geist eines Kindes durch seine Kunst zu verstehen, müssen wir zuerst die Werkzeuge verstehen, mit denen wir ihn messen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.