Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie haben eine strikte Regel: Sie dürfen jedem, den Sie befragen, nur drei Fragen stellen. Wenn Sie eine Gruppe von Teenagern, eine Gruppe von Rentnern und eine Gruppe von Büroangestellten interviewieren, könnten die drei Fragen, die für die Teenager am besten funktionieren, für die Rentner keinen Sinn ergeben. Dies ist das tägliche Dilemma des maschinellen Lernens, eines Zweigs der Wissenschaft, bei dem Computer lernen, Vorhersagen zu treffen, indem sie Muster in Daten finden. Normalerweise werden diese Computerprogramme auf einem riesigen Haufen von Daten trainiert, in denen alle vermischt sind. Aber in der realen Welt sind Menschen nicht alle gleich. Ein Modell, das auf „durchschnittlichen“ Menschen trainiert wurde, mag für die Mehrheit großartig funktionieren, aber für kleinere oder andere Gruppen kläglich scheitern – wie eine Landkarte, die für die meisten Fahrer eine klare Straße zeigt, aber einige in einen Sumpf führt. Die große Frage lautet: Wie wählen wir einen einzigen, begrenzten Satz von Fragen (oder „Merkmalen“ bzw. „Features“) aus, der für alle gut funktioniert, auch wenn alle unterschiedlich sind, ohne dass wir für jede Gruppe einen separaten, teuren Fragebogen benötigen?

Genau dieses Rätsel wird in einem neuen Paper mit dem Titel „Population-Robust Feature Selection via Generalized Welfare Optimization“ von Forschern der Carnegie Mellon University angegangen. Sie führen eine clevere neue Methode namens PopFS ein. Betrachten Sie PopFS als einen superintelligenten, rechtschaffenen Editor für eine riesige Enzyklopädie. Normalt wählen Editoren die populärsten Themen aus, um sie einzuschließen, was das Buch für die Mehrheit großartig macht, aber wichtige Details für Nischenleser auslässt. PopFS hingegen nutzt einen speziellen „Fairness-Regler“ (ein sogenanntes Wohlfahrtsziel bzw. „welfare objective“), der es dem Editor ermöglicht zu entscheiden, wie sehr er die Bedürfnisse der am wenigsten berücksichtigten Gruppen priorisiert. Wenn Sie den Regler hochdrehen, stellt der Editor sicher, dass selbst die Gruppen, die normalerweise die schlechtesten Vorhersagen erhalten, eine faire Chance bekommen, ohne das Buch für alle anderen zu ruinieren.

Die Forscher fanden heraus, dass PopFS ein Game-Changer ist. Anstatt zu versuchen, ein perfektes Modell für alle zu finden (was oft unmöglich ist) oder Merkmale zu wählen, die im Durchschnitt am besten funktionieren, wählt PopFS einen gemeinsamen Satz von „Fragen“, der es jeder Gruppe ermöglicht, ihren eigenen individuellen „Antwortschlüssel“ zu erstellen. In Tests, die acht verschiedene Gruppen bei sechs realen Aufgaben umfassten – von der Einkomtsvorhersage bis zur Verfolgung von Bleikontamination im Blut –, übertraf PopFS bestehende Methoden konsequent. Es half nicht nur im Durchschnittsfall; es steigerte die Leistung für die am schlechtesten gestellten Gruppen um bis zu 22 % im Vergleich zu anderen Methoden.

Der vielleicht spannendste Teil ist seine Flexibilität. In einer Fallstudie zur Verfolgung von COVID-19-Symptomen in 43 verschiedenen US-Bundesstaaten zeigten die Forscher, dass sie durch einfaches Drehen ihres „Fairness-Reglers“ die Vorhersagen für die Bundesstaaten, die am meisten zu kämpfen hatten, um fast 40 % verbessern konnten, wobei die Leistung für die Bundesstaaten, denen es bereits gut ging, kaum sank. Es ist, als würde man ein Radio feinabstimmen, um das Rauschen für den Zuhörer in der fernen Ecke des Raumes zu beseitigen, ohne die Musik für die Person neben dem Lautsprecher schlechter zu machen. Die Methode ist zudem unglaublich schnell und sortiert tausende mögliche Fragen in weniger als 15 Minuten.

Das Problem: Eine Einheitsgröße passt nicht jedem

Stellen Sie sich vor, Sie sind ein Arzt, der Patienten diagnostizieren muss, aber Sie haben nur eine winzige, feste Checkliste von Symptomen, nach denen Sie fragen können. Sie haben Patienten aus dem ganzen Land: Einige sind jung und gesund, andere sind älter mit chronischen Leiden, und einige leben in Gebieten mit unterschiedlichen Umweltrisiken. Wenn Sie die drei Symptome auswählen, die für den „Durchschnittspatienten“ am besten funktionieren, könnten Sie die entscheidenden Anzeichen für die Älteren oder die Jüngeren übersehen.

Dies ist der Kern des Problems der Merkmalsauswahl (Feature Selection). Im maschinellen Lernen sind „Merkmale“ (Features) einfach nur die Datenpunkte oder Fragen, die man in den Computer einspeist (wie „Alter“, „Einkommen“ oder „hat der Patient Fieber?“). Normalerweise wählen Wissenschaftler die Merkmale aus, die den Computer für die größte Gruppe von Menschen am klüger machen. Aber das lässt die kleineren oder anderen Gruppen zurück.

Einige bisherige Methoden versuchten, dies zu beheben, indem sie ein einziges, riesiges, super-robustes Modell bauten, das versucht, für jeden zu funktionieren. Aber das ist so, als würde man versuchen, einen einzigen Schuh zu bauen, der einem Kleinkind, einem Basketballspieler und einer Großmutter perfekt passt – das ist fast unmöglich. Andere versuchten, ein separates Modell für jede einzelne Gruppe zu bauen, aber das erfordert eine separate, teure Checkliste für jede Gruppe, was den Zweck eines begrenzten, gemeinsamen Ressourcenaufwands zunichtemacht.

Die Lösung: PopFS und der Fairness-Regler

Die Autoren dieses Papers, Ruiqi Lyx, Alistair Turcan und Bryan Wilder, schlagen einen Mittelweg vor. Sie wollen eine gemeinsame Checkliste von Merkmalen finden, die alle verwenden, aber dann jeder Gruppe erlauben, ihr eigenes individuelles Modell (ihren eigenen „Antwortschlüssel“) basierend auf dieser Checkliste zu erstellen.

Um dies zu erreichen, haben sie PopFS erfunden. So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der Lehrer und die Schüler: Stellen Sie sich einen Meisterlehrer (den „Lehrer“) vor, der Zugang zu allen Informationen der Welt hat. Dieser Lehrer kennt die perfekte Antwort für jeden einzelnen Schüler. PopFS bittet diesen Lehrer zuerst, alle Daten zu betrachten und herauszufinden, was die „perfekte“ Vorhersage für jede Gruppe wäre.
2. Der Kompressionstest: Nun fragen die Forscher: „Wenn wir den Schülern nur eine winzige, gemeinsame Liste von k Fragen (Merkmalen) geben, können sie dann immer noch die Antwort des Lehrers erraten?“ Sie testen verschiedene Listen von Fragen, um zu sehen, welche Liste es den Schülern ermöglicht, dem Wissen des Lehrers am nächsten zu kommen.
3. Der Fairness-Regler (Wohlfahrtsziel): Das ist der magische Teil. Die Forscher erkannten, dass es nicht fair ist, einfach die Liste zu wählen, die die höchste Durchschnitts-Punktzahl liefert. Also fügten sie einen abstimmbaren Regler hinzu, den Wohlfahrtsparameter (dargestellt durch den griechischen Buchstaben Alpha, $\alpha$).
   • Wenn Sie den Regler auf 1 stellen, kümmert sich das System hauptsächlich um die Gesamtpunktzahl aller kombiniert (den Durchschnitt).
   • Wenn Sie den Regler auf 0 oder sogar -1 drehen, beginnt das System sich viel mehr um die Schüler zu kümmern, die derzeit die niedrigsten Punktzahlen erhalten. Es zwingt die Auswahl dazu, Fragen zu wählen, die den kämpfenden Gruppen helfen, selbst wenn das bedeutet, dass die leistungsstarken Gruppen etwas weniger Hilfe erhalten.

Wie sie es schnell gemacht haben

Sie könnten denken: „Warte mal, wenn es tausende mögliche Fragen gibt und wir sie an Dutzenden von Gruppen testen müssen, würde das ewig dauern!“ Und damit hätten Sie recht. Es wäre, als würde man versuchen, jede mögliche Kombination von Zutaten in einem Rezeptbuch mit tausenden Seiten zu testen; das würde ein Leben lang dauern.

PopFS nutzt einen cleveren zweistufigen Trick, um dies zu lösen:

1. Der große Bildschirm: Zuerat scannt es schnell alle tausenden Merkmale ab und wirft diejenigen weg, die offensichtlich nutzlos sind, um nur eine „Kurzliste“ der vielversprechendsten Kandidaten zu behalten. Es ist wie ein Talentwettbewerb-Juror, der schnell die Leute aussortiert, die überhaupt nicht singen können, damit er nicht jeden einzelnen Menschen auf der Welt anhören muss.
2. Der intelligente Austausch: Anstatt dann jede Kombination von Fragen zu testen, beginnt es mit einer guten Liste und versucht, eine Frage nach der anderen auszutauschen. Es nutzt ein schnelles „Ratespiel“ (einen mathematischen Shortcut namens „Surrogat“), um vorherzusagen, welche Austausche am besten funktionieren werden. Es führt den vollen, langsamen und teuren Test nur bei den allerbesten Kandidaten durch. Dies ermöglicht es, die perfekte Liste in unter 15 Minuten zu finden, selbst wenn es tausende Optionen gibt.

Was sie herausgefunden haben

Die Forscher testeten PopFS mit realen Daten, darunter:

• Einkomtsvorhersage (unter Verwendung von ACS- und UCI Adult-Datensätzen).
• Gesundheitsrisiken (Bleikontamination im Blut bei Kindern und Erwachsenen aus NHANES sowie Kreditrisiko aus HELHE).
• COVID-19-Verfolgung (Vorhersage von Krankenhauseinweisungen in 43 US-Bundesstaaten basierend auf Suchanfragen nach Symptomen).

In fast allen Tests übertraf PopFS die anderen Methoden.

• Besser für alle: Es verbesserte die durchschnittliche Leistung für alle Gruppen.
• Besser für die Kämpfenden: Vor allem aber steigerte es die Leistung für die Gruppen, die normalerweise die schlechtesten Vorhersagen erhalten, signifikant. In einigen Fällen verbesserte es die Leistung der „am schlechtesten gestellten“ Gruppe im Vergleich zu Standardmethoden um bis zu 22 %.
• Die COVID-19-Fallstudie: Als sie dies auf die Vorhersage von COVID-19-Krankenhausaufenthalten in 43 Bundesstaaten anwandten, fanden sie etwas Faszinierendes heraus. Indem sie den Fairness-Regler so einstellten, dass die am meisten belasteten Bundesstaaten priorisiert wurden, verbesserten sie die Vorhersagegenauigkeit dieser Staaten um etwa 40 %, während die durchschnittliche Genauigkeit für alle Staaten sich kaum veränderte.

Sie bemerkten auch, dass sich die Merkmale, die PopFS wählte, je nach Regler änderten. Wenn sie die kämpfenden Bundesstaaten priorisierten, begann das System andere Symptome (wie das spezifische Timing von Fieber oder Geschmacksverlust) zu wählen, die besser für diese spezifischen Regionen waren, anstatt nur die häufigsten Symptome zu nehmen. Dies deutet darauf hin, dass die Methode tatsächlich die richtigen Werkzeuge für die richtige Aufgabe findet, anstatt nur die populärsten Werkzeuge zu wählen.

Warum das wichtig ist

Das Paper behauptet nicht, alle Probleme der Welt gelöst zu haben. Die Autoren betonen vorsichtig, dass ihre Methode von der Qualität des ursprünglichen „Lehrer“-Modells abhängt und dass sie kluge Abkürzungen (Heuristiken) anstelle eines mathematisch perfekten Weges verwendet. Dennoch sind die Ergebnisse stark und konsistent über viele verschiedene Arten von Daten hinweg.

Die wichtigste Erkenntrolle ist: Wir müssen uns nicht zwischen „gut für die Mehrheit“ und „fair für alle“ entscheiden. Mit PopFS können wir einen einzigen, einsetzbaren Satz von Fragen haben, der für alle gut funktioniert, und wir können ihn so feinabstimmen, dass die Menschen, die Hilfe am dringendsten benötigen, diese auch erhalten, ohne die Qualität des Gesamtsystems zu opfern. Dies ist ein Schritt in Richtung einer Maschine, die nicht nur intelligent, sondern auch fair und anpassungsfähig an die komplexe, vielfältige Realität der Welt ist.