Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
Este artículo presenta un marco de modelado semántico unificado para el sistema de comprensión de empleos a gran escala de LinkedIn, el cual aprovecha un modelo de lenguaje pequeño ajustado con tareas de razonamiento sintético y una arquitectura de múltiples adaptadores para lograr una generalización zero-shot robusta, un rendimiento mejorado y una reducción de la complejidad operativa.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que entras en una biblioteca masiva y caótica donde cada libro es un anuncio de empleo. Algunos están escritos con frases perfectas y ordenadas; otros están garabateados en servilletas, llenos de errores tipográficos, jerga y detalles confusos. Ahora, imagina que necesitas clasificar estos millones de libros en categorías perfectas para que cualquier persona que busque un "Enfermero" o un "Ingeniero de Software" pueda encontrar exactamente lo que necesita al instante. Este es el mundo del Comprensión del Lenguaje Natural (Natural Language Understanding), una rama de la informática donde las máquinas intentan leer y dar sentido al texto humano. El gran desafío aquí es que el lenguaje humano es desordenado, y crear un sistema que pueda entenderlo perfectamente para millones de trabajos diferentes es como intentar enseñarle a un robot a hablar todos los dialectos de todas las lenguas de la Tierra al mismo tiempo. Por lo general, para hacer esto, las empresas tienen que construir un robot separado y costoso para cada categoría de trabajo, lo cual es lento, costoso y difícil de gestionar.
Este artículo de LinkedIn cuenta la historia de cómo construyeron un "super-robot" más inteligente y flexible para resolver este problema. En lugar de construir miles de robots pequeños y especializados, crearon un Modelo de Lenguaje Pequeño (SLM) —piensa en él como un estudiante muy brillante y eficiente que puede aprender casi cualquier cosa si se le enseña de la manera correcta—. El equipo descubrió que, al alimentar a este estudiante con una cantidad masiva de problemas de práctica creados por una IA superinteligente (GPT-4), el estudiante podía aprender a entender descripciones de puestos de trabajo con una precisión increíble, incluso para trabajos que nunca había visto antes. Luego, le dieron a este estudiante un conjunto de "lentes especializados" (llamados adaptadores) que podían intercambiarse instantáneamente. Cuando el estudiante necesitaba entender el trabajo de un enfermero, se ponían los "lentes de enfermero"; para un abogado, cambiaban a los "lentes de abogado". Esto permitió que manejaran una enorme variedad de trabajos con un solo cerebro, haciendo que el sistema fuera más rápido, más barato y mucho más preciso. Cuando probaron este nuevo sistema en el mundo real, funcionó mejor que sus métodos anteriores, ayudando a las personas a encontrar los trabajos adecuados más fácilmente.
La biblioteca desordenada de empleos
LinkedIn es un mercado gigante donde las personas buscan trabajo y las empresas buscan talento. Pero los "libros" en su biblioteca —los anuncios de empleo— suelen ser un desastre. Una sola descripción de puesto puede ser un párrafo largo y errático lleno de errores tipográficos, formatos extraños y detalles ocultos. Para que esto sea útil, LinkedIn necesita convertir ese texto desordenado en hechos limos y organizados, como "Este trabajo es para un Enfermero Senior", "Es una posición Remota" o "Paga $80,000". Este proceso se llama Comprensión de Empleos (Job Understanding).
Durante mucho tiempo, LinkedIn intentó resolver esto construyendo un modelo de aprendizaje automático separado para cada tipo de atributo de trabajo. Si querían saber la "Antigüedad" de un trabajo, construían un modelo. Si querían saber el "Tipo de Lugar de Trabajo", construían otro. Era como contratar a un bibliotecario diferente para cada estante de la biblioteca. Esto era caro, lento de actualizar y, a menudo, no era muy bueno entendiendo el significado sutil del texto.
El "Súper-Estudiante" y el libro de texto mágico
Los autores decidieron probar algo diferente. En lugar de contratar a muchos bibliotecarios, entrenaron a un Modelo de Lenguaje Pequeño (SLM) increíblemente inteligente. Piensa en este SLM como un estudiante súper rápido que es excelente leyendo, pero necesita los materiales de estudio adecuados para brillar.
El equipo se dio cuenta de que no tenían suficientes ejemplos del mundo real con respuestas perfectas (anotaciones) para enseñarle todo a este estudiante. Así que usaron un truco ingenioso: le pidieron a una IA mucho más grande y poderosa (GPT-4) que escribiera un libro de texto sintético para ellos. Esto no era solo una lista de hechos; era un conjunto de problemas de práctica donde GPT-4 tomaba una descripción de trabajo desordenada, encontraba la respuesta y, lo más importante, escribía su razonamiento. Explicaba por qué un determinado trabajo era un rol "Senior" o por qué era "Remoto".
Al entrenar a su estudiante (el SLM) con estos ejemplos ricos en razonamiento, el modelo aprendió no solo las respuestas, sino cómo pensar. Esto le dio al modelo un superpoder llamado aprendizaje de disparo cero (zero-shot learning). Esto significa que el modelo podía mirar un nuevo tipo de trabajo que nunca había visto y aun así adivinar la respuesta correctamente, simplemente usando la lógica que aprendió de su entrenamiento.
La estrategia de los "Lentes Intercambiables"
Incluso con un estudiante súper inteligente, había un problema: algunos trabajos son muy específicos. Un trabajo de "Enfermero" tiene detalles especiales como "Turno" o "Licencia", mientras que un trabajo de "Profesor" tiene detalles diferentes. Si el modelo intentara aprender todo esto a la vez, podría confundirse.
Para solucionar esto, el equipo introdujo un sistema de Multi-Adaptador. Imagina que el estudiante lleva puestos unos lentes claros y neutros (el modelo base). Cuando necesita entender un trabajo de Enfermería, no necesita volver a aprender todo; simplemente se coloca unos "Lentes de Enfermero" (un adaptador). Estos adaptadores son complementos diminutos y ligeros que enseñan al modelo lo justo para manejar ese grupo específico de trabajos sin arruinar lo que ya sabe.
Para mantener todo organizado, no hicieron un par de lentes para cada trabajo individual. En su lugar, utilizaron una estrategia de agrupación inteligente. Analizaron qué tan similares eran diferentes trabajos y los agruparon. Por ejemplo, todos los atributos relacionados con el "turno" para enfermeros y trabajadores de almacén podrían ser lo suficientemente similares como para compartir el mismo par de lentes. Esto significó que podían gestionar cientos de diferentes atributos de trabajo con solo unas pocas docenas de adaptadores, haciendo que el sistema fuera mucho más fácil de operar.
Los Resultados: Más Rápido, Más Inteligente y Más Barato
El equipo probó este nuevo sistema de dos maneras. Primero, lo ejecutaron en una computadora (fuera de línea/offline) para ver qué tan bien adivinaba las respuestas. Lo compararon con sus modelos antiguos y separados, y descubrieron que su nuevo "Súper-Estudiante" con lentes intercambiables era mucho más preciso. Por ejemplo, al adivinar la "Ocupación" de un trabajo, el modelo antiguo acertaba aproximadamente el 71% de las veces, pero el nuevo modelo acertó el 83%. Para el "Tipo de Lugar de Trabajo", el nuevo modelo acertó el 98%, en comparación con el 95% del modelo antiguo.
Luego, lo probaron en el mundo real (en línea/online) mostrándolo a usuarios reales de LinkedIn. Realizaron una prueba donde la mitad de los usuarios veía el sistema antiguo y la otra mitad el nuevo. Los resultados fueron claros: el nuevo sistema ayudó a los usuarios a encontrar mejores trabajos. Métricas como las "Sesiones de Trabajo" (cuántas veces la gente miraba empleos) aumentaron, y las personas eran menos propensas a hacer clic en el "pulgar hacia abajo" en recomendaciones malas.
El sistema también es increíblemente eficiente. Se ejecuta en una flota de 50 potentes chips de computadora (GPUs) y puede procesar descripciones de trabajo en aproximadamente 0.8 segundos en promedio. Debido a que utiliza un modelo pequeño y eficiente en lugar de uno masivo y costoso, cuesta mucho menos ejecutarlo.
En resumen, el artículo muestra que al enseñar a un modelo de IA pequeño a pensar como un humano mediante el razonamiento sintético, y luego darle la capacidad de intercambiar "lentes" especializados para diferentes trabajos, se puede construir un sistema que es más inteligente, más rápido y más barato que la forma antigua de hacer las cosas. Es una victoria para la empresa, y una victoria para cualquiera que busque su próxima gran oportunidad.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.