SAGE: Scalable AI Governance & Evaluation

Resumo Técnico: SAGE (Scalable AI Governance & Evaluation)

Declaração do Problema
Sistemas de busca em escala industrial, particularmente aqueles que lidam com consultas de linguagem natural com intenções multifacetadas (ex: LinkedIn Job Search e People Search), enfrentam uma "lacuna de governança" crítica. Embora os modelos semânticos tenham expandido a expressividade, eles complicam a especificação e a aplicação de padrões de relevância. A governança tradicional baseia-se em dois proxies subótimos:

1. Revisão Editorial Manual: Alta fidelidade, mas incapaz de cobrir a diversidade combinatória de consultas de linguagem natural em escala.
2. Métricas de Engajamento: Fornecem feedback atrasado e sofrem de vieses sistemáticos (ex: amplificação de popularidade), falhando frequentemente em capturar falhas de relevância de alto impacto ou regressões "silenciosas".

O desafio central é construir um Juiz Substituto ($J$) que aproxime a função de utilidade humana latente ($H$) com o mínimo de divergência de alinhamento ($\Delta$) enquanto maximiza a cobertura ($C$) através de um espaço semântico ilimitado.

Metodologia: O Framework SAGE
O SAGE operacionaliza o julgamento de produto humano através de um trio de construtos: Política (P), Precedente (E) e um Juiz Substituto LLM (J). O framework é construído sobre três princípios de design:

1. Calibração Bidirecional: Diferente de sistemas de avaliação estáticos, o SAGE emprega um loop dinâmico onde Política, Precedente e Juiz coevoluem.

   • Humano $\to$ Política/Precedente: Especialistas sinalizam lacunas de intuição e ambiguidades de política.
   • Juiz $\to$ Precedente: O Juiz atua como um auditor adversarial, expondo erros em conjuntos de dados "padrão ouro" curados por humanos (ex: identificando evidências em documentos verbosos negligenciadas por humanos).
   • Juiz $\to$ Política: O Juiz expõe a subespecificação da política quando esta introduz restrições não suportadas ou aplica lógica inconsistente.
   • Resultado: Este loop resolve sistematicamente ambiguidades semânticas, transformando o julgamento subjetivo em rubricas executáveis e multidimensionais.

2. Relevância Multi-Atributo Interpretável: Para eliminar a opacidade de "caixa-preta", o Juiz decompõe a relevância em atributos ortogonais (ex: Cargo, Senioridade, Empresa) em vez de uma pontuação monolítica. Isso permite a atribuição direcionada de falhas durante a calibração. O sistema utiliza uma escala graduada de 5 pontos (0–4) em vez de ranking pareado para impor limiares de qualidade explícitos (ex: suprimindo notas 0–1).

3. Alto Rendimento via Destilação: Para preencher a lacuna entre o raciocínio de modelos de fronteira e os custos de inferência industrial, o SAGE utiliza destilação professor-aluno.

   • Juiz Professor: Um LLM de fronteira (GPT-o3) calibrado contra precedentes de especialistas.
   • Juiz Aluno: Um modelo de 8 bilhões de parâmetros destilado do Professor. Ele é treinado em tráfego de produção estratificado e consultas aspiracionais, com classes de pontuação sub-representadas (0–3) rebalanceadas para evitar o colapso em direção a previsões de alta relevância.
   • Modelo Online: O Juiz Aluno é posteriormente destilado em uma arquitetura ultra-compacta (0.6B) para servir em tempo real. Isso envolve poda estrutural, internalização de raciocínio (colapsando o Chain-of-Thought em previsões de 1 token) e minimização de contexto via sumarização offline.

Principais Contribuições
O artigo apresenta três contribuições primárias para a avaliação centrada no humano em escala industrial:

1. Calibração Bidirecional para Alinhamento de Intenção: Um mecanismo que transforma o julgamento humano heterogêneo em critérios de avaliação versionados, permitindo que o sistema de avaliação coevoluam com o julgamento humano e exponha ambiguidades de política.
2. Avaliação de Relevância Multi-Atributo Interpretável: Uma decomposição da relevância em atributos ortogonais que elimina a opacidade, permitindo a atribuição precisa de falhas e alcançando um nível de concordância próximo ao humano.
3. Avaliação de Alto Rendimento via Destilação: Um pipeline que comprime o raciocínio de LLMs de fronteira em substitutos alunos eficientes, permitendo avaliação offline em larga escala ($>10^7$ anotações/dia) e avaliação online de baixa latência ($>10^4$ QPS) a uma fração do custo.

Resultados
Implementado nos ecossistemas de Busca do LinkedIn, o SAGE alcançou o seguinte:

• Qualidade de Alinhamento: Através da calibração bidirecional, o Juiz Professor alcançou um kappa de Cohen ponderado linear de 0,77 contra julgamentos humanos de especialistas, superando o limiar de 0,7 para concordância substancial e aproximando-se do teto prático de proprietários de produto especialistas (0,83).
• Fidelidade de Destilação: O Juiz Aluno manteve alta fidelidade, alcançando escores de kappa de 0,72 (Job Search) e 0,73 (People Search) contra especialistas humanos.
• Eficiência de Custo: O Juiz Aluno opera com um custo 92$\times$ menor que o Juiz Professor e 154$\times$ menor que a rotulagem humana de limite mínimo.
• Impacto em Produção: Ao permitir o desenvolvimento baseado em simulação e supervisão baseada em política, o SAGE ajudou a detectar regressões invisíveis para métricas de engajamento. Dois experimentos A/B sequenciais online integrando o Modelo Online alinhado à política resultaram em um aumento de 0,25% nos Usuários Ativos Diários (DAU) do LinkedIn, representando uma mudança significativa de patamar no crescimento do produto Job Search.

Significância e Alegações
O artigo alega que o SAGE formaliza com sucesso a governança centrada no humano na escala exigida para sistemas de IA industrial. Argumenta-se que:

• Curadoria de Alta Fidelidade > Anotação de Alto Volume: Um pequeno conjunto de precedentes curados por especialistas oferece mais alavancagem do que a rotulagem em larga escala, deslocando o esforço humano da produção de rótulos para a resolução de ambiguidades.
• O Juiz Pode Auditar a Verdade Fundamental (Ground Truth): LLMs calibrados podem identificar erros em conjuntos de dados curados por humanos, melhorando a qualidade da própria supervisão.
• Política como um Artefato Versionado: Tratar a política como uma especificação de software versionada permite uma governação estável de longo prazo, distinguindo mudanças de métricas causadas por mudanças de definição de falhas reais do modelo.
• Avaliação Semântica Complementa Proxies Comportamentais: Embora os sinais de engajamento continuem sendo o padrão, eles frequentemente perdem a degradação de relevância "silenciosa". O SAGE demonstra que o julgamento de produto operacionalizado fornece um indicador mais estável e diagnóstico da saúde do ecossistema, correlacionando-se diretamente com o crescimento de usuários a longo prazo (DAU).