🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE es un marco de gobernanza de IA escalable que operacionaliza el juicio humano de alta calidad a través de un bucle de calibración bidireccional de política, precedente y jueces subrogados de LLM, utilizando la destilación rentable para permitir la evaluación de modelos alineada con las políticas en LinkedIn Search que, en última instancia, aumentó los usuarios activos diarios en un 0.25%.

Autores originales: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

Publicado 2026-06-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el editor jefe de un periódico masivo (LinkedIn) que publica millones de artículos (empleos y perfiles) cada día. Tu objetivo es asegurarte de que cuando un lector busque algo específico, como "analista de datos de nivel inicial", obtenga el artículo perfecto, no solo uno al azar que simplemente contenga esas palabras.

¿El problema? Tienes demasiados artículos y demasiados lectores. No puedes pedirle a un editor humano que revise cada uno de los resultados de búsqueda para comprobar si es bueno. Si intentas usar una matemática simple (como contar cuántas personas hacen clic en un enlace), podrías dejarte engañar por artículos populares pero irrelevantes.

Esta es la historia de SAGE, un nuevo sistema que LinkedIn construyó para resolver este problema. Piensa en SAGE como un "Supereditor" que aprende a pensar como un experto humano, pero trabaja a la velocidad de un robot.

Así es como funciona, desglosado en pasos sencillos:

1. El Problema: La brecha entre el "Humano y el Robot"

Normalmente, cuando las empresas construyen motores de búsqueda, dependen de dos cosas:

Editores Humanos: Son excelentes juzgando la calidad, pero son lentos y costosos. No pueden leer millones de resultados.
Métricas de Interacción (Engagement): Cuentan clics y visualizaciones. Pero esto es como juzgar una película por su taquilla; una mala película puede seguir siendo popular si la gente hace clic en ella por accidente. No te dice si la película es realmente buena.

LinkedIn necesitaba una forma de obtener el juicio de calidad de un humano con la velocencia de una máquina.

2. La Solución: El marco de trabajo "SAGE"

SAGE significa Escalable AI Governance & Evaluation (Gobernanza y Evaluación de IA Escalable). Es un equipo de tres partes que trabajan juntas para crear un "libro de reglas" perfecto para juzgar los resultados de búsqueda.

Parte A: La Política (El Libro de Reglas)

Este es un conjunto de reglas escritas en lenguaje sencillo. En lugar de decir "coincidir con palabras clave", dice cosas como: "Si un usuario pide un trabajo de nivel inicial, el resultado no debe requerir 10 años de experiencia". Define exactamente qué es "bueno".

Parte B: El Precedente (Las Respuestas de Muestra)

Imagina a un profesor dando a un estudiante algunos ensayos de muestra con calificaciones perfectas y explicaciones. SAGE utiliza un conjunto pequeño y cuidadosamente seleccionado de ejemplos de "estándar de oro" creados por expertos humanos. Estos ejemplos muestran a la IA exactamente cómo aplicar el libro de reglas a situaciones complicadas.

Parte C: El Juez Sustituto (El Estudiante)

Este es un modelo de IA (un Modelo de Lenguaje Extenso o LLM) que actúa como el juez. Lee los resultados de búsqueda y los compara con el Libro de Reglas y las Respuestas de Muestra.

3. El Ingrediente Secreto: "Entrenamiento de Doble Vía"

En el pasado, simplemente le decías a la IA las reglas y esperabas que las entendiera. SAGE utiliza un Bucle de Calibración de Doble Vía.

De Humano a IA: Los humanos enseñan las reglas a la IA y le muestran ejemplos.
De IA a Humano: ¡La IA en realidad critica a los humanos!
- Si la IA ve que un experto humano comete un error (como pasar por alto un detalle oculto en una descripción de trabajo larga), lo señala.
- Si la IA se confunde porque las reglas son vagas, le dice a los humanos: "Oigan, su libro de reglas no cubre este caso específico".

Esto crea un ciclo donde el Libro de Reglas, los Ejemplos y el Juez de IA se vuelven más inteligentes juntos. Corregen sus errores mutuamente hasta que coinciden casi perfectamente (un 77% de acuerdo con los expertos humanos, lo cual se considera "sustancial" en este campo).

4. El Truco de Velocidad: "Destilación" (Del Maestro al Estudiante)

La IA "Maestra" (la que aprendió de los humanos) es muy inteligente pero lenta y costosa de ejecutar. Es como un profesor genio que tarda horas en calificar un examen. LinkedIn necesita calificar millones de exámenes por segundo.

Por eso, utilizaron una técnica llamada Destilación.

Imagina que el Maestro (el profesor genio) explica su proceso de pensamiento a un Estudiante (un pasante rápido y eficiente).
El Estudiante aprende a imitar la lógica del Maestro, pero se vuelve mucho más pequeño y rápido.
El Resultado: El Juez Estudiante es 92 veces más barato y rápido que el Maestro, pero sigue obteniendo la respuesta correcta casi con la misma frecuencia que los expertos humanos.

5. Cómo cambió a LinkedIn

Una vez que construyeron este Juez Estudiante rápido y listo, lo usaron de tres maneras poderosas:

La Red de Seguridad (Pruebas Offline): Antes de lanzar una nueva función de búsqueda, la pasan por el Juez Estudiante. Si la IA dice: "Esta nueva función está mostrando malos resultados", pueden detenerla inmediatamente. No tienen que esperar a que los usuarios reales se quejen. Esto redujo su tiempo de prueba de 2 semanas a 3 días.
El Guardián en Tiempo Real (Servicio Online): Comprimieron la IA aún más para hacerla lo suficientemente diminuta como para ejecutarse en tiempo real. Ahora, cada vez que buscas, una versión minúscula de esta IA revisa los resultados instantáneamente para asegurar que sigan las reglas.
El Sistema de Alerta Temprana: Usaron la IA para vigilar el sistema las 24 horas del día, los 7 días de la semana. A veces, una actualización de búsqueda puede parecer bien basándose en los clics, pero la IA nota que la calidad está bajando. Detectó un problema que las métricas humanas pasaron por alto, evitando una mala experiencia para los usuarios.

La Conclusión

Al utilizar este sistema, LinkedIn no solo hizo su búsqueda "más rápida"; la hizo más inteligente y confiable.

El documento afirma que, al usar SAGE para aplicar reglas de alta calidad, observaron un aumento del 0.25% en los Usuarios Activos Diarios en LinkedIn. En el mundo de una plataforma con cientos de millones de usuarios, ese pequeño porcentaje representa un número masivo de personas que encontraron lo que buscaban, se quedaron en el sitio y siguieron regresando.

En resumen: SAGE convirtió el trabajo desordenado y subjetivo de "decidir qué es un buen resultado de búsqueda" en un proceso claro, automatizado y escalable que aprende de sus errores y mejora continuamente.

Resumen Técnico: SAGE (Gobernanza y Evaluación de IA Escalable)

Declaración del Problema
Los sistemas de búsqueda a escala industrial, particularmente aquellos que manejan consultas de lenguaje natural con una intención multifacética (por ejemplo, la búsqueda de empleos y de personas en LinkedIn), enfrentan una "brecha de gobernanza" crítica. Si bien los modelos semánticos han expandido la expresividad, complican la especificación y la aplicación de los estándares de relevancia. La gobernanza tradicional depende de dos proxies subóptimos:

Revisión Editorial Manual: De alta fidelidad, pero incapaz de cubrir la diversidad combinatoria de las consultas de lenguaje natural a escala.
Métricas de Interacción (Engagement): Proporcionan retroalimentación retardada y sufren de sesgos sistemáticos (por ejemplo, la amplificación de la popularidad), fallando a menudo en capturar fallos de relevancia de alto impacto o regresiones "silenciosas".

El desafío central es construir un Juez Sustituto ( $J$ ) que aproxime la función de utilidad humana latente ( $H$ ) con una divergencia de alineación ( $\Delta$ ) mínima mientras maximiza la cobertura ( $C$ ) a través de un espacio semántico ilimitado.

Metodología: El Marco SAGE
SAGE operacionaliza el juicio de producto humano a través de una tríada de constructos: Política (P), Precedente (E) y un LLM Juez Sustituto (J). El marco se basa en tres principios de diseño:

Calibración Bidireccional: A diferencia de los sistemas de evaluación estáticos, SAGE emplea un bucle dinámico donde la Política, el Precedente y el Juez coevolucionan.
- Humano $\to$ Política/Precedente: Los expertos señalan brechas de intuición de política y ambigüedades.
- Juez $\to$ Precedente: El Juez actúa como un auditor adversarial, detectando errores en los conjuntos de datos "dorados" curados por humanos (por ejemplo, identificando evidencia en documentos verbosos que los humanos pasaron por alto).
- Juez $\to$ Política: El Juez expone la subespecificación de la política cuando esta introduce restricciones no sustentadas o aplica una lógica inconsistente.
- Resultado: Este bucle resuelve sistemáticamente las ambigüedades semánticas, transformando el juicio subjetivo en rúbricas ejecutables y multidimensionales.
Relevancia Multiatributo Interpretable: Para eliminar la opacidad de "caja negra", el Juez descompone la relevancia en atributos ortogonales (por ejemplo, Cargo, Antigüedad, Empresa) en lugar de una puntuación monolítica. Esto permite una atribución de fallos dirigida durante la calibración. El sistema utiliza una escala graduada de 5 puntos (0–4) en lugar de un ranking de pares para imponer umbrales de calidad explícitos (por ejemplo, suprimiendo las calificaciones 0–1).
Alto Rendimiento mediante Destilación: Para cerrar la brecha entre el razonamiento de los modelos de frontera y los costos de inferencia industrial, SAGE utiliza la destilación de profesor-estudiante.
- Juez Profesor (Teacher Judge): Un LLM de frontera (GPT-o3) calibrado contra el precedente experto.
- Juez Estudiante (Student Judge): Un modelo de 8B parámetros destilado del Profesor. Es entrenado con tráfico de producción estratificado y consultas aspiracionales, con las clases de puntuación subrepresentadas (0–3) rebalanceadas para evitar el colapso hacia predicciones de alta relevancia.
- Modelo en Línea (Online Model): El Juez Estudiante se destila aún más en una arquitectura ultra compacta (0.6B) para el servicio en tiempo real. Esto implica poda estructural, internalización del razonamiento (colapsar la Cadena de Pensamiento en predicciones de 1 token) y minimización de contexto mediante la sumarización offline.

Contribuciones Clave
El artículo presenta tres contribuciones primarias a la evaluación centrada en el humano a escala industrial:

Calibración Bidireccional para la Alineación de Intención: Un mecanismo que transforma el juicio humano heterogéneo en criterios de evaluación versionados, permitiendo que el sistema de evaluación coevolucione con el juicio humano y detecte ambigüedades de la política.
Evaluación de Relevancia Multiatributo Interpretable: Una descomposición de la relevancia en atributos ortogonales que elimina la opacidad, permitiendo una atribución de fallos precisa y logrando un acuerdo cercano al nivel humano.
Evaluación de Alto Rendimiento mediante Destilación: Un pipeline que comprime el razonamiento de los LLM de frontera en sustitutos estudiantes eficientes, permitiendo la evaluación offline a gran escala ( $>10^7$ anotaciones/día) y la evaluación online de baja latencia ( $>10^4$ QPS) a una fracción del costo.

Resultados
Desplegado dentro de los ecosistemas de Búsqueda de LinkedIn, SAGE logró lo siguiente:

Calidad de Alineación: A través de la calibración bidireccional, el Juez Profesor alcanzó un kappa de Cohen ponderado lineal de 0.77 contra los juicios humanos expertos, superando el umbral de 0.7 para un acuerdo sustancial y acercándose al techo práctico de los dueños de producto expertos (0.83).
Fidelidad de la Destilación: El Juez Estudiante mantuvo una alta fidelidad, logrando puntuaciones kappa de 0.72 (Búsqueda de Empleos) y 0.73 (Búsqueda de Personas) contra expertos humanos.
Eficiencia de Costos: El Juez Estudiante opera a un costo 92 $\times$ menor que el Juez Profesor y un costo 154 $\times$ menor que el etiquetado humano mínimo.
Impacto en Producción: Al permitir el desarrollo impulsado por simulación y la supervisión basada en políticas, SAGE ayudó a detectar regresiones invisibles para las métricas de interacción. Dos experimentos A/B online secuenciales que integraron el Modelo en Línea alineado con la política resultaron en un incremento del 0.25% en los Usuarios Activos Diarios (DAU) de LinkedIn, representando un cambio de orden de magnitud significativo en el crecimiento para el producto de Búsqueda de Empleos.

Significancia y Reivindicaciones
El artículo afirma que SAGE logra formalizar la gobernanza centrada en el humano a la escala requerida para los sistemas de IA industriales. Argumenta que:

Curación de Alta Fidelidad > Anotación de Alto Volumen: Un pequeño conjunto de precedentes curados por expertos proporciona más apalancamiento que el etiquetado a gran escala, desplazando el esfuerzo humano de producir etiquetas a resolver ambigüedades.
El Juez puede Auditar la Verdad de Referencia (Ground Truth): Los LLM calibrados pueden identificar errores en los conjuntos de datos curados por humanos, mejorando la calidad de la propia supervisión.
La Política como un Artefacto Versionado: Tratar la política como una especificación de software versionada permite una gobernanza estable a largo plazo, distinguiendo los cambios en las métricas causados por cambios en la definición de los fallos reales del modelo.
La Evaluación Semántica Complementa a los Proxies de Comportamiento: Si bien las señales de interacción siguen siendo el estándar, a menudo pasan por alto la degradación de relevancia "silenciosa". SAGE demuestra que el juicio de producto operacionalizado proporciona un indicador más estable y diagnóstico de la salud del ecosistema, correlacionándose directamente con el crecimiento de usuarios a largo plazo (DAU).