Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
Questo articolo presenta un framework di modellazione semantica unificato per il sistema di comprensione dei lavori su larga scala di LinkedIn, che sfrutta un piccolo modello linguistico perfezionato con compiti di ragionamento sintetici e un'architettura multi-adapter per ottenere una robusta generalizzazione zero-shot, prestazioni migliorate e una ridotta complessità operativa.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di entrare in una biblioteca enorme e caotica dove ogni libro è un annuncio di lavoro. Alcuni sono scritti con frasi perfette e ordinate; altri sono scarabocchiati su tovaglioli, pieni di refusi, gergo e dettagli confusi. Ora, immagina di dover smistare questi milioni di libri in categorie perfette in modo che chiunque cerchi un "Infermiere" o un "Ingegnere del Software" possa trovare esattamente ciò di cui ha bisogno istantaneamente. Questo è il mondo della Comprensione del Linguaggio Naturale (Natural Language Understanding), un ramo dell'informatica in cui le macchine cercano di leggere e dare senso al testo umano. La grande sfida qui è che il linguaggio umano è disordinato, e creare un sistema che possa comprenderlo perfettamente per milioni di lavori diversi è come cercare di insegnare a un robot a parlare ogni dialetto di ogni lingua sulla Terra contemporaneamente. Di solito, per farlo, le aziende devono costruire un robot separato ed costoso per ogni singola categoria di lavoro, il che è lento, costoso e difficile da gestire.
Questo articolo di LinkedIn racconta come abbiano costruito un "super-robot" più intelligente e flessibile per risolvere questo problema. Invece di costruire migliaia di piccoli robot specializzati, hanno creato un unico Small Language Model (SLM) — pensa a uno studente molto brillante ed efficiente che può imparare quasi tutto se istruito nel modo giusto. Il team ha scoperto che, alimentando questo studente con una quantità massiccia di problemi di pratica creati da un'IA super-intelligente (GPT-4), lo studente poteva imparare a comprendere le descrizioni di lavoro con un'accuratezza incredibile, anche per lavori che non aveva mai visto prima. Poi, hanno dato a questo studente un set di "occhiali specializzati" (chiamati adapter) che potevano essere sostituiti istantaneamente. Quando il modello doveva comprendere il lavoro di un infermiere, indossava gli "occhiali dell'infermiere"; per un avvocato, passava agli "occhiali dell'avvocato". Questo ha permesso loro di gestire una vastissima varietà di lavori con un unico cervello, rendendo il sistema più veloce, economico e molto più accurato. Quando hanno testato questo nuovo sistema nel mondo reale, ha funzionato meglio dei loro vecchi metodi, aiutando le persone a trovare il lavoro giusto più facilmente.
La Biblioteca Disordinata dei Lavori
LinkedIn è un gigantesco mercato dove le persone cercano lavoro e le aziende cercano talenti. Ma i "libri" nella loro biblioteca — gli annunci di lavoro — sono spesso un disastro. Una singola descrizione di un lavoro potrebbe essere un paragrafo lungo e confuso, pieno di refusi, formattazioni strane e dettagli nascosti. Per rendere tutto questo utile, LinkedIn deve trasformare quel testo disordinato in fatti puliti e organizzati, come "Questo lavoro è per un Infermiere Senior", "È una posizione da Remoto" o "Paga 80.000 dollari". Questo processo è chiamato Comprensione del Lavoro (Job Understanding).
Per molto tempo, LinkedIn ha cercato di risolvere questo problema costruendo un modello di machine learning separato per ogni singolo attributo del lavoro. Se volevano conoscere l' "Anzianità" di un lavoro, costruivano un modello. Se volevano conoscere la "Tipologia di Luogo di Lavoro", ne costruivano un altro. Era come assumere un bibliotecario diverso per ogni singolo scaffale della biblioteca. Era costoso, lento da aggiornare e spesso non molto bravo a comprendere il significato sottile del testo.
Lo "Super-Studente" e il Libro di Testo Magico
Gli autori hanno deciso di provare qualcosa di diverso. Invece di assumere molti bibliotecari, hanno addestrato uno Small Language Model (SLM) incredibilmente intelligente. Pensa a questo SLM come a uno studente super-veloce che è bravo a leggere, ma ha bisogno dei giusti materiali di studio per brillare.
Il team si è reso conto di non avere abbastanza esempi del mondo reale con risposte perfette (annotazioni) per insegnare tutto a questo studente. Così, hanno usato un trucco astuto: hanno chiesto a un'IA molto più grande e potente (GPT-4) di scrivere un libro di testo sintetico per loro. Non si trattava solo di un elenco di fatti; era un insieme di problemi di pratica in cui GPT-4 prendeva una descrizione di lavoro disordinata, ne scopriva la risposta e — cosa più importante — ne scriveva il ragionamento. Spiegava perché un certo lavoro fosse un ruolo "Senior" o perché fosse "da Remoto".
Addestrando il loro studente (l'SLM) su questi esempi ricchi di ragionamento, il modello ha imparato non solo le risposte, ma come pensare. Questo ha dato al modello un superpotere chiamato zero-shot learning. Ciò significa che il modello poteva guardare un nuovo tipo di lavoro mai visto prima e indovinare comunque la risposta corretta, semplicemente usando la logica appresa durante l'addestramento.
La Strategia degli "Occhiali Scambiabili"
Anche con uno studente super-intelligente, c'era un problema: alcuni lavori sono molto specifici. Un lavoro da "Infermiere" ha dettagli speciali come "Turno" o "Licenza", mentre un lavoro da "Insegnante" ne ha di diversi. Se il modello cercasse di imparare tutto questo contemporaneamente, potrebbe confondersi.
Per risolvere il problema, il team ha introito un sistema Multi-Adapter. Immagina che lo studente indossi un paio di occhiali trasparenti e neutri (il modello base). Quando deve comprendere un lavoro da infermiere, non ha bisogno di imparare tutto di nuovo; deve solo agganciare un paio di "Occhiali dell'Infermiere" (un adapter). Questi adapter sono componenti aggiuntivi minuscoli e leggeri che insegnano al modello quel tanto che basta per gestire quel gruppo specifico di lavori senza rovinare ciò che già sa.
Per mantenere l'organizzazione, non hanno creato un paio di occhiali separati per ogni singolo lavoro. Invece, hanno usato una strategia di raggruppamento intelligente. Hanno osservato quanto fossero simili tra loro diversi lavori e li hanno raggruppati. Ad esempio, tutti gli attributi relativi ai "turni" per infermieri e lavoratori nei magazzini potrebbero essere abbastanza simili da condividere lo stesso paio di occhiali. Questo significava che potevano gestire centinaia di diversi attributi lavorativi con solo poche decine di adapter, rendendo il sistema molto più facile da gestire.
I Risultati: Più Veloci, Più Intelligenti e Più Economici
Il team ha testato questo nuovo sistema in due modi. Primo, lo ha eseguito su un computer (offline) per vedere quanto fosse bravo a indovinare le risposte. Lo hanno confrontato con i loro vecchi modelli separati e hanno scoperto che il loro nuovo "Super-Studente" con gli occhiali scambiabili era molto più accurato. Ad esempio, quando indovinava l' "Occupazione" di un lavoro, il vecchio modello aveva ragione circa il 71% delle volte, mentre il nuovo modello ha avuto ragione l'83% delle volte. Per la "Tipologia di Luogo di Lavoro", il nuovo modello era corretto nel 98%, rispetto al 95% del vecchio.
Poi, lo hanno provato nel mondo reale (online) mostrandolo agli utenti reali di LinkedIn. Hanno eseguito un test in cui metà degli utenti vedeva il vecchio sistema e l'altra metà vedeva il nuovo. I risultati erano chiari: il nuovo sistema aiutava gli utenti a trovare lavori migliori. Metriche come le "Sessioni di Lavoro" (quante volte le persone guardavano i lavori) sono aumentate e le persone erano meno propense a cliccare "pollice verso il basso" sulle raccomandazioni scadenti.
Il sistema è anche incredibilmente efficiente. Gira su una flotta di 50 potenti chip per computer (GPU) e può elaborare le descrizioni di lavoro in circa 0,8 secondi in media. Poiché utilizza un modello piccolo ed efficiente invece di uno enorme ed costoso, costa molto meno gestirlo.
In breve, l'articolo dimostra che insegnando a un piccolo modello di IA a pensare come un essere umano attraverso il ragionamento sintetico, e poi dotandolo della capacità di scambiare "occhiali" specializzati per diversi lavori, si può costruire un sistema che è più intelligente, più veloce e più economico rispetto al vecchio metodo. È una vittoria per l'azienda e una vittoria per chiunque stia cercando la propria prossima grande opportunità.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.