Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
Este artigo apresenta uma estrutura de modelagem semântica unificada para o sistema de compreensão de vagas em larga escala do LinkedIn, que utiliza um modelo de linguagem pequeno com ajuste fino por meio de tarefas de raciocínio sintético e uma arquitetura de múltiplos adaptadores para alcançar generalização zero-shot robusta, desempenho aprimorado e redução da complexidade operacional.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está entrando em uma biblioteca enorme e caótica onde cada livro é um anúncio de emprego. Alguns são escritos em frases perfeitas e organizadas; outros são rabiscos em guardanapos, cheios de erros de digitação, jargões e detalhes confusos. Agora, imagine que você precisa classificar esses milhões de livros em categorias perfeitas para que qualquer pessoa procurando por um "Enfermeiro" ou um "Engenheiro de Software" possa encontrar exatamente o que precisa instantaneamente. Este é o mundo da Compreensão de Linguagem Natural, um ramo da ciência da computação onde as máquinas tentam ler e compreender o texto humano. O grande desafio aqui é que a linguagem humana é bagunçada, e criar um sistema que possa entendê-la perfeitamente para milhões de empregos diferentes é como tentar ensinar um robô a falar todos os dialetos de todas as línguas da Terra ao mesmo tempo. Geralmente, para fazer isso, as empresas precisam construir um robô separado e caro para cada categoria de emprego, o que é lento, dispendioso e difícil de gerenciar.
Este artigo do LinkedIn conta a história de como eles construíram um "super-robô" mais inteligente e flexível para resolver esse problema. Em vez de construir milhares de pequenos robôs especializados, eles criaram um Modelo de Linguagem Pequeno (SLM) — pense nele como um estudante muito brilhante e eficiente que pode aprender quase tudo se for ensinado da maneira certa. A equipe descobriu que, ao alimentar este estudante com uma quantidade massiva de problemas de prática criados por uma IA superinteligente (GPT-4), o estudante poderia aprender a entender descrições de cargos com uma precisão incrível, mesmo para empregos que ele nunca tinha visto antes. Eles então deram a este estudante um conjunto de "óculos especializados" (chamados de adaptadores) que podiam ser trocados instantaneamente. Quando o estudante precisava entender o trabalho de um enfermeiro, eles colocavam os "óculos de enfermeiro"; para um advogado, eles trocavam para os "óculos de advogado". Isso permitiu que eles lidassem com uma enorme variedade de empregos com apenas um cérebro, tornando o sistema mais rápido, barato e muito mais preciso. Quando testaram este novo sistema no mundo real, ele funcionou melhor do que seus métodos antigos, ajudando as pessoas a encontrar os empregos certos com mais facilidade.
A Biblioteca Bagunçada de Empregos
O LinkedIn é um mercado gigante onde pessoas procuram empregos e empresas procuram talentos. Mas os "livros" em sua biblioteca — os anúncios de emprego — são frequentemente uma bagunça. Uma única descrição de cargo pode ser um parágrafo longo e confuso, cheio de erros de digitação, formatações estranhas e detalhes ocultos. Para tornar isso útil, o LinkedIn precisa transformar esse texto bagunçado em fatos limpos e organizados, como "Este emprego é para um Enfermeiro Sênior", "É uma posição Remota" ou "Paga $80.000". Esse processo é chamado de Compreensão de Emprego (Job Understanding).
Por muito tempo, o LinkedIn tentou resolver isso construindo um modelo de aprendizado de máquina separado para cada tipo de atributo de emprego. Se eles quisessem saber a "Senioridade" de um cargo, construíam um modelo. Se quisessem saber o "Tipo de Local de Trabalho", construíam outro. Era como contratar um bibliotecário diferente para cada estante da biblioteca. Isso era caro, lento para atualizar e, muitas vezes, não era muito bom em entender o significado sutil do texto.
O "Super-Estudante" e o Livro Didático Mágico
Os autores decidiram tentar algo diferente. Em vez de contratar muitos bibliotecários, eles treinaram um Modelo de Linguagem Pequeno (SLM) incrivelmente inteligente. Pense neste SLM como um estudante superveloz que é ótimo em leitura, mas precisa dos materiais de estudo certos para brilhar.
A equipe percebeu que não tinham exemplos do mundo real com respostas perfeitas (anotações) suficientes para ensinar tudo a este estudante. Então, usaram um truque inteligente: pediram a uma IA muito maior e mais poderosa (GPT-4) para escrever um livro didático sintético para eles. Não era apenas uma lista de fatos; era um conjunto de problemas de prática onde o GPT-4 pegaria uma descrição de cargo bagunçada, descobriria a resposta e — o mais importante — escreveria seu raciocínio. Ele explicaria por que determinado cargo era uma função "Sênior" ou por que era "Remoto".
Ao treinar este estudante (o SLM) com esses exemplos ricos em raciocínio, o modelo aprendeu não apenas as respostas, mas como pensar. Isso deu ao modelo um superpoder chamado aprendizado zero-shot (zero-shot learning). Isso significa que o modelo poderia olhar para um novo tipo de emprego que nunca tinha visto antes e ainda assim adivinhar a resposta corretamente, apenas usando a lógica que aprendeu em seu treinamento.
A Estratégia dos "Óculos Trocáveis"
Mesmo com um estudante superinteligente, havia um problema: alguns empregos são muito específicos. Um emprego de "Enfermeiro" tem detalhes especiais como "Turno" ou "Licença", enquanto um emprego de "Professor" tem detalhes diferentes. Se o modelo tentasse aprender tudo isso ao mesmo tempo, poderia ficar confuso.
Para corrigir isso, a equipe introduziu um sistema de Multi-Adaptadores. Imagine que o estudante está usando um par de óculos claros e neutros (o modelo base). Quando ele precisa entender um emprego de Enfermeiro, não precisa reaprender tudo; ele apenas prende um par de "Óculos de Enfermeiro" (um adaptador). Esses adaptadores são complementos minúsculos e leves que ensinam ao modelo apenas o suficiente para lidar com aquele grupo específico de empregos sem bagunçar o que ele já sabe.
Para manter a organização, eles não fizeram um par de óculos para cada único emprego. Em vez disso, usaram uma estratégia inteligente de agrupamento. Eles observaram como diferentes empregos eram semelhantes e os agruparam. Por exemplo, todos os atributos relacionados a "turno" para enfermeiros e trabalhadores de armazém poderiam ser semelhantes o suficiente para compartilhar o mesmo par de óculos. Isso significava que eles podiam gerenciar centenas de diferentes atributos de emprego com apenas algumas dezenas de adaptadores, tornando o sistema muito mais fácil de operar.
Os Resultados: Mais Rápido, Mais Inteligente e Mais Barato
A equipe testou este novo sistema de duas maneiras. Primeiro, rodaram em um computador (offline) para ver quão bem ele adivinhava as respostas. Compararam com seus modelos separados antigos e descobriram que seu novo "Super-Estudante" com óculos trocáveis era muito mais preciso. Por exemplo, ao adivinhar a "Ocupação" de um cargo, o modelo antigo acertava cerca de 71% das vezes, mas o novo modelo acertou 83%. Para "Tipo de Local de Trabalho", o novo modelo acertou 98%, comparado a 95% do antigo.
Depois, testaram no mundo real (online), mostrando-o a usuários reais do LinkedIn. Realizaram um teste onde metade dos usuários via o sistema antigo e a outra metade via o novo. Os resultados foram claros: o novo sistema ajudou os usuários a encontrar melhores empregos. Métricas como "Sessões de Emprego" (quantas vezes as pessoas olharam empregos) aumentaram, e as pessoas clicaram menos no "polegar para baixo" em recomendações ruins.
O sistema também é incrivelmente eficiente. Ele roda em uma frota de 50 chips de computador poderosos (GPUs) e pode processar descrições de cargos em cerca de 0,8 segundos em média. Como utiliza um modelo pequeno e eficiente em vez de um modelo massivo e caro, custa muito menos para operar.
Em resumo, o artigo mostra que, ao ensinar um pequeno modelo de IA a pensar como um humano usando raciocínio sintético, e depois dar a ele a capacidade de trocar de "óculos" especializados para diferentes empregos, você pode construir um sistema que é mais inteligente, mais rápido e mais barato do que o método antigo. É uma vitória para a empresa e uma vitória para qualquer pessoa que busca sua próxima grande oportunidade.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.