Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings
Dieser Beitrag stellt TaxonomyBuilder vor, ein Framework, das zeigt, dass das Filtern von Stellenanzeigen-Daten vor der Verarbeitung klarere und domänenspezifischere KI-Fähigkeitstaxonomien liefert als die Verwendung ungefilterter Korpora mit durch LLMs erweiterten Clustering-Tools.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine riesige, chaotische Bibliothek mit Millionen von Büchern über Künstliche Intelligenz (KI) zu organisieren. Ihr Ziel ist es, eine klare, leicht lesbare Karte (eine Taxonomie) zu erstellen, die Menschen dabei hilft, genau das zu finden, was sie brauchen: spezifische KI-Fähigkeiten und -Aufgaben.
Die Autoren dieses Papiers, Stephen Meisenbacher und Peter Norlander, entwickelten ein neues Werkzeug namens TAXONOMYBUILDER, um diese Aufgabe automatisch zu erledigen. Sie testeten es mit zwei riesigen Stapeln realer Daten: Millionen von Stellenangeboten aus dem US-Arbeitsmarkt.
Hier ist die Geschichte dessen, was sie herausfanden, einfach erklärt:
Das Problem: Die Falle „Mehr ist besser"
Normalerweise ist es bei dem Versuch, ein großes Chaos zu ordnen, der Instinkt, alles in den Mix zu werfen. Man denkt: „Wenn ich mehr Stellenangebote einbeziehe, wird meine Karte vollständiger." Man könnte sogar versuchen, ähnliche Sätze zu kopieren und einzufügen, um den Stapel noch größer zu machen (ein Prozess namens Daten-Augmentierung).
Die Autoren fragten: Ist das tatsächlich hilfreich? Oder macht es die Bibliothek nur noch unübersichtlicher?
Das Experiment: Kochen mit verschiedenen Zutaten
Um die Antwort zu finden, führten sie 24 verschiedene Experimente mit ihrem TAXONOMYBUILDER-Werkzeug durch. Sie veränderten drei Haupt„Zutaten" in ihrem Rezept:
- Daten-Augmentierung (Mehr hinzufügen): Fügten sie zusätzliche, ähnliche Sätze hinzu, um den Datensatz zu vergrößern?
- Filterung (Rauschen entfernen): Wurden die „schwächsten" oder unklarsten Stellenbeschreibungen verworfen, wobei nur die besten 25 %, 50 % oder 75 % der klarsten übrig blieben?
- Soft Clustering (Verschwommene Gruppierung): Wurden „verrauschte" Elemente, die nicht ganz in eine Gruppe passten, trotzdem gezwungen, sich anzuschließen, nur um auf der sicheren Seite zu sein?
Die große Überraschung: Weniger ist mehr
Die Ergebnisse waren kontraintuitiv. Das Team entdeckte, dass das Hinzufügen von mehr Daten die Karte tatsächlich verschlechterte.
- Der „Augmentierungs"-Fehler: Als sie zusätzliche Daten hinzufügten, um den Stapel zu vergrößern, wurde die resultierende Karte verwirrend und weniger genau. Es war, als würde man versuchen, eine Bibliothek zu organisieren, indem man mehr Bücher hinzufügt, die nur leicht unterschiedliche Kopien derselben Geschichte sind; es schuf lediglich Unordnung.
- Der „Filterungs"-Erfolg: Die besten Karten wurden erstellt, als sie streng waren. Sie warfen die vagen, qualitativ minderwertigen Stellenbeschreibungen weg (und behielten nur die besten 75 % oder 50 % der besten Daten). Durch das Entfernen des „Rauschens" konnte die KI die klaren Muster viel besser erkennen.
- Die „Soft Clustering"-Nuance: Das Erzwingen, dass unordentliche Elemente in Gruppen aufgenommen werden, half nur, wenn sie nicht von vornherein zusätzliche Daten hinzugefügt hatten. Wenn sie zusätzliche Daten hinzufügten, verschlechterte das Erzwingen unordentlicher Elemente die Situation.
Die Analogie: Der Goldwasch-Test
Stellen Sie sich vor, Sie waschen in einem massiven Fluss (den Stellenangeboten) nach Gold (KI-Fähigkeiten).
- Der alte Weg: Sie schöpfen jeden Eimer Wasser, Schlamm und Steine auf, den Sie finden können, in der Hoffnung, mehr Gold zu bekommen. Am Ende haben Sie einen riesigen, schlammigen Haufen, in dem es unmöglich ist, das Gold zu sehen.
- Der neue Weg (die Erkenntnis von TAXONOMYBUILDER): Sie sieben das Wasser zunächst sorgfältig durch. Sie werfen die schlammigen, nutzlosen Eimer weg (Filterung). Sie behalten nur die Eimer, die vielversprechend aussehen. Dann waschen Sie diese. Am Ende haben Sie einen kleineren Haufen, aber er besteht aus reinem Gold.
Die Schlussfolgerung
Das Papier kommt zu dem Ergebnis, dass beim Erstellen einer Karte komplexer Fähigkeiten aus massiven Textmengen Qualität Quantität schlägt.
- Versuchen Sie nicht, jedes einzelne Datenstück einzubeziehen, das Sie finden können.
- Seien Sie selektiv. Filtern Sie schwache oder verrauschte Informationen heraus.
- Lassen Sie die KI sich auf die klaren, hochwertigen Beispiele konzentrieren, um eine Karte zu erstellen, die tatsächlich nützlich und leicht verständlich ist.
Kurz gesagt: Wenn Sie eine klare Karte des KI-Stellenmarkts wollen, müssen Sie nicht jede einzelne existierende Stellenanzeige lesen. Sie müssen nur die besten sorgfältig lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.