Different representation learning objectives recover distinct latent structures from the same psychometric data

In den stillen Ecken eines Klassenzimmers sind die täglichen Erfahrungen einer Lehrkraft und das Verhalten eines Kindes tief miteinander verwoben. Wir wissen, dass das Wohlbefinden einer Lehrkraft, ihr Vertrauen in ihre Fähigkeiten und das emotionale Klima, das sie schafft, beeinflussen können, wie Kinder handeln und lernen. Seit Jahrzehnten untersuchen Wissenschaftler diesen Zusammenhang, indem sie Lehrer und Kinder bitten, lange Listen von Fragen zu ihren Gefühlen und Handlungen auszufüllen. Traditionell haben Forscher diese hunderte von individuellen Antworten zusammengefasst, zu einigen wenigen Summenwerten aufaddiert und dann nach Mustern zwischen diesen Werten gesucht. Diese Methode funktioniert zwar, aber sie setzt voraus, dass die wichtigste Geschichte in den Durchschnittswerten verborgen liegt. Sie behandelt die detaillierte, chaotische Realität einer einzelnen Frage über die Stimmung eines Kindes oder den Stress einer Lehrkraft als weniger wichtig als die endgültige Zahl, die sie hervorbringt.

Kürzlich ist ein neuer Ansatz in der Untersuchung menschlichen Verhaltens entstanden, der leistungsstarke Computersysteme nutzt, um direkt auf die rohen, individuellen Antworten zu schauen. Diese Systeme, oft als Representation Learning bezeichnet, versuchen, verborgene Muster in hochdimensionalen Daten zu finden, ohne vorher gesagt zu bekommen, wonach sie suchen sollen. Sie können tausende spezifische Details nehmen und sie zu einer einfacheren Karte komprimieren, auf der ähnliche Dinge nah beieinander liegen. Eine natürliche Frage stellt sich für Wissenschaftler, die diese Werkzeuge nutzen: Wenn man in verschiedene Computersysteme dieselbe Menge an Fragebogenantworten einspeist, finden sie alle dieselbe verborgene Karte? Oder verändert das spezifische Ziel des Computers die Karte, die er zeichnet? Diese Frage ist wichtig, denn wenn das Ziel des Computers die Karte verändert, dann könnte die „Wahrheit“, die wir in den Daten finden, mehr von dem Werkzeug abhängen, das wir verwenden, als von den Menschen, die wir untersuchen.

Ein Forschungsteam setzte sich zum Ziel, diese Frage anhand von Daten aus einer großen Vorschulstudie in Zypern zu beantworten. Es hatte Zugriff auf 757 gepaarte Lehrer-Kind-Paare, wobei jede Lehrkraft 139 Fragen zu ihrem eigenen Wohlbefinden und Beruf ausgefüllt hatte und jedes Kind anhand von 82 Fragen zu seinem Verhalten bewertet worden war. Die Forscher wollten sehen, ob sie diese verknüpften Fragebögen nutzen konnten, um eine gemeinsame Karte zu erstellen, auf der eine Lehrkraft und ihr spezifisches Kind nah beieinander erscheinen würden. Gleichzeitig wollten sie sehen, ob diese Karte auch natürlich Kinder gruppieren würde, die ähnliche Verhaltensprofile aufweisen, wie etwa jene, die hochgradig anpassungsfähig sind gegenüber jenen, die Schwierigkeiten haben.

Zu Beginn etablierten die Forscher zunächst, wie eine „Verhaltenskarte“ aussah, indem sie eine standardisierte, gut verstandene Methode verwendeten. Sie nahmen die 82 Verhaltensfragen der Kinder und nutzten eine Technik namens Hauptkomponentenanalyse (Principal Component Analysis), um die Hauptmuster zu finden. Dieser Prozess offenbarte vier deutliche Gruppen von Kindern. Eine Gruppe zeigte ein hohes Maß an adaptiver Funktionsfähigkeit, was bedeutet, dass sie soziale Situationen gut bewältigten. Eine weitere Gruppe war moderat adaptiv, eine dritte zeigte eine gewisse Vulnerabilität und eine vierte Gruppe sah sich hohen Verhaltensrisiken gegenüber. Diese Gruppen waren klar und deutlich; die Kinder in der Hochrisikogruppe schnitten auf ihren Verhaltensskalen sehr anders ab als die der hochfunktionalen Gruppe. Dies bestätigte, dass die Daten eine starke, natürliche Struktur hinsichtlich des Verhaltens der Kinder enthielten.

Als Nächstes versuchten die Forscher, eine Karte zu erstellen, die Lehrer mit ihren spezifischen Kindern verbindet. Sie verwendeten eine moderne computergestützte Lernmethode namens Contrastive Learning. Stellen Sie sich ein System vor, dem gesagt wird: „Hier ist eine Lehrkraft und hier ist ihr Kind; sorge dafür, dass ihre digitalen Fingerabdrücke sehr ähnlich aussehen. Hier ist eine Lehrkraft und ein Kind, die sich nicht kennen; sorge dafür, dass ihre Fingerabdrücke sehr unterschiedlich aussehen.“ Der Computer lernte, seine interne Karte anzupassen, um dieses Ziel zu erreichen. Die Ergebnisse waren beeindruckend. Als die Forscher den Computer baten, das richtige Kind für eine bestimmte Lehrkraft zu finden, war er mit der Standardmethode weitał viel erfolgreicher. Mit der Standardmethode konnte der Computer das richtige Kind nur in etwa 0,13 % der Fälle erraten. Mit der neuen Contrastive-Learning-Methode traf er das richtige Kind beim ersten Versuch in 7,27 % der Fälle und innerhalb der Top-Ten-Vorschläge in 56,14 % der Fälle. Dies bewies, dass der Computer erfolgreich die einzigartige Verbindung zwischen einer spezifischen Lehrkraft und ihrem spezifischen Schüler lernen konnte.

Es trat jedoch ein überraschendes Problem auf, als die Forscher die Verhaltensgruppen der Kinder innerhalb dieser neuen Karte betrachteten. Während der Computer exzellent darin war, Lehrer mit Kindern zu verbinden, war er schrecklich darin, Kinder nach ihrem Verhalten zu gruppieren. Die vier zuvor gefundenen klaren Verhaltensgruppen waren fast verschwunden. Die Kinder, die hochgradig anpassungsfähig waren, waren überall auf der Karte verstreut und mit jenen vermischt, die ein hohes Risiko aufwiesen. Der Computer hatte gelernt, die Verbindung zwischen Lehrer und Kind so gut zu sehen, dass er die Unterschiede zwischen den Verweistypen der Kinder im Wesentlichen ausgelöscht hatte. Die Karte war auf Beziehungen optimiert, nicht auf Persönlichkeit.

Um zu testen, ob dies ein grundlegender Kompromiss war, versuchten die Forscher einen dritten Ansatz. Sie bauten ein System, das zwei Aufgaben gleichzeitig hatte: Es musste Lehrer mit Kindern verbinden und es musste gleichzeitig die Verhaltensgruppe des Kindes vorhersagen. Sie hofften, dass dies den Computer dazu zwingen würde, beide Arten von Informationen beizubehalten. Das Ergebnis war ein Kompromiss. Das System wurde viel besser darin, die Verhaltensgruppen wieder zusammenzuhalten, sodass die Gruppen wieder deutlich und klar wurden. Aber diese Verbesserung hatte einen Preis. Die Fähigkeit des Systems, Lehrer mit ihren spezifischen Kindern zu verbinden, sank dramatisch ab und fiel zurück auf ein Niveau, das dem der Standardmethode ähnelte.

Die Studie kommt zu dem Schluss, dass es keine einzige, perfekte Karte dieser Daten gibt. Die verborgene Struktur, die ein Computer findet, hängt ganz davon ab, wonach man ihn sucht. Wenn das Ziel darin besteht, die Verbindung zwischen einer Lehrkraft und einem Kind zu finden, findet der Computer eine Karte voller dieser Verbindungen, verliert aber die Verhaltensgruppen. Wenn das Ziel darin besteht, Verhaltensgruppen zu finden, findet der Computer diese, verliert aber die spezifischen Lehrer-Kind-Verbindungen. Die Forscher legen nahe, dass die Korrespondenz zwischen Lehrkraft und Kind und die Verhaltensphänotypen zwei verschiedene Arten der Organisation sind, die in denselben Daten existieren. Keine davon ist „realer“ als die andere, aber ein einzelnes Computermodell kann nicht beide gleichermaßen gut erfassen. Dieser Befund dient als Erinnerung daran, dass die Antworten, die wir erhalten, wenn wir fortschrittliche Werkzeuge zur Untersuchung menschlichen Verhaltens einsetzen, durch die Fragen geformt werden, die wir der Maschine stellen. Die Daten liegen nicht einfach nur da und warten darauf, gelesen zu werden; sie offenbaren unterschiedliche Wahrheiten, je nachdem, welche Linse wir verwenden, um sie zu betrachten.