Resumo Técnico: Sistema de Recomendação Autoevolutivo

Formulação do Problema

Otimizar sistemas de recomendação em larga escala para plataformas de vídeo globais envolve navegar por um espaço de hiperparâmetros massivo e projetar otimizadores, arquiteturas e funções de recompensa complexos. Um gargalo crítico neste domínio é o "gap de alinhamento" entre proxies de treinamento diferenciáveis (funções de perda) e métricas de satisfação do usuário de longo prazo — não diferenciáveis, atrasadas e esparsas (métricas North Star).

Abordagens tradicionais de Aprendizado de Máquina Automatizado (AutoML) são limitadas ao ajuste de hiperparâmetros numéricos dentro de espaços de busca fixos. Elas carecem das capacidades de raciocínio semântico para:

1. Interpretar resultados de experimentos passados para hipotetizar por que segmentos específicos de usuários estão sendo subatendidos.
2. Inventar nova lógica de recompensa ou componentes arquiteturais do zero.
3. Preencher a lacuna entre a otimização de proxy offline e os objetivos de negócio online sem extensa iteração manual.

Os autores formulam a tarefa como um problema de otimização de dois níveis:

• Nível Inferior: Treinar um modelo de ranking (parametrizado por pesos $\theta$) para minimizar uma perda de proxy diferenciável ($L_{proxy}$) dada uma configuração de sistema $\Phi$ (otimizador, arquitetura, recompensa).
• Nível Superior: Encontrar a configuração ótima $\Phi^*$ que maximiza as verdadeiras métricas North Star online $M$, sujeito a restrições do sistema. Tradicionalmente, esta busca de nível superior é realizada manualmente por pesquisadores humanos.

Metodologia: O Sistema Autoevolutivo

O artigo propõe um sistema de ponta a ponta autônomo onde agentes de Large Language Model (LLM) atuam como Engenheiros de Machine Learning (MLE) especializados. O sistema desacopla o processo de descoberta em dois loops de raciocínio sincronizados centrados em um Diário de Experimentos compartilhado (uma base de conhecimento persistente de configurações, pontuações offline e métricas online).

1. O Agente Offline (Loop Rápido)

Este agente opera como um gerador de candidatos de alta frequência (executando a cada 5 minutos). Seu objetivo é nomear potenciais melhorias de modelo que minimizem métricas offline ou maximizem a correlação com sinais fundamentais.

• Personas Especializadas: Para evitar alucinações e gerenciar limites de contexto, o sistema instancia três personas de agentes distintas, cada uma com ferramentas e objetivos específicos:
  • Persona de Otimizador: Busca o espaço de algoritmos de otimização (ex: mudar de Adagrad para RMSprop) e hiperparâmetros. Utiliza a ferramenta compute_loss para pontuar candidatos.
  • Persona de Arquitetura: Propõe mutações estruturais na topologia neural (ex: introduzir mecanismos de Caminho de Portão/Gated Path). Utiliza compute_loss para avaliar a capacidade de aprendizado e expressividade.
  • Persona de Recompensa: Realiza engenharia de recompensa analisando logs de usuários via run_sql_query para descobrir novos sinais (ex: "vídeos compartilhados geram maior tempo de exibição"). Utiliza compute_eval para calcular métricas de proxy independentes de perda, pois modificar a função de recompensa altera o cenário de otimização, tornando a comparação direta de perda inválida.
• Saída: O agente gera mudanças de "delta" (modificações na configuração atual) em vez de arquivos completos para garantir eficiência de contexto e reduzir erros de sintaxe.

2. O Agente Online (Loop Lento)

Este agente opera como um estrategista de experimentos de baixa frequência (executando diariamente). Ele valida candidatos contra métricas North Star atrasadas.

• Função: Ele classifica os candidatos produzidos pelo Agente Offline, selecionando os top $K$ para experimentação ao vivo.
• Gestão de Ciclo de Vida: Gerencia o ciclo de vida do experimento através de cinco fases: Seleção (classificação de candidatos), Treinamento do Modelo, Experimentação ao Vivo, Síntese de Métricas (busca de métricas online) e Limpeza (reivindicação de recursos para candidatos sem potencial).
• Segurança: Impõe salvaguardas (ex: garantir que métricas específicas não degradem além de um limite) antes de promover candidatos para o tráfego de produção.

Principais Contribuições

1. Framework de MLE Autônomo para Sistemas de Escala Industrial: Os autores introduzem um sistema agêntico hierárquico onde LLMs atuam como MLEs especialistas para gerenciar o ciclo de vida completo do desenvolvimento de modelos industriais, desde a geração de hipóteses e implementação de código até testes A/B.
2. Descoberta Semântica: O sistema demonstra que agentes baseados em LLM podem ir além do simples ajuste de parâmetros para descobrir novos componentes arquiteturais (ex: arquiteturas de Caminho de Portão/Gated Path) e funções de recompensa multiobjetivo que se alinham melhor com a satisfação do usuário a longo prazo.
3. Aceleração da Velocidade Experimental: O framework valida que sistemas agênticos podem superar baselines ajustados manualmente tanto em velocidade de desenvolvimento quanto em desempenho do modelo, evoluindo efetivamente o estado da arte em sistemas de recomendação.

Resultados e Implantação

O sistema foi implantado em diversas superfícies críticas do YouTube. Os resultados destacam melhorias significativas sobre os baselines de engenharia humana tradicionais:

• Ganhos de Desempenho:
  • Otimizador: A mudança de Adagrad legado para RMSprop rendeu uma melhoria de +0,06% em métricas de nível YouTube e +0,12% em métricas de nível de superfície.
  • Arquitetura: A descoberta de uma arquitetura de "Caminho de Portão" (GLU) resultou em ganhos de +0,06% (nível YouTube) e +0,14% (nível de superfície).
  • Engenharia de Recompensa: Uma síntese de recompensa multiobjetivo melhorou as métricas de nível de superfície em +0,17%, superando baselines humanos em um domínio historicamente difícil para engenharia de recompensa manual.
  • Eficiência: O sistema alcançou uma melhoria de 8x no tempo de treinamento (via ajustes de tamanho de lote e épocas) sem sacrificar métricas de negócio.
• Impacto Comparativo: Em média, as melhorias geradas pelo sistema agêntico superaram 64% dos lançamentos gerados via abordagens manuais tradicionais para métricas de nível YouTube e 73% para métricas de nível de superfície ao longo de um período de seis meses.
• Estudos de Ablação:
  • Capacidade do Modelo: Modelos maiores com raciocínio avançado (Gemini 2.5 Pro) superaram significativamente as variantes menores (Gemini 2.5 Flash), confirmando que a descoberta algorítmica se beneficia de capacidades de pensamento profundo.
  • Contexto e Persona: Fornecer um histórico completo e ordenado de experimentos passados e usar o enquadramento de "persona de MLE especialista" foram críticos para o desempenho. A remoção desses fatores levou a uma degradação significativa na qualidade da descoberta.
• Eficiência: O ciclo "Ideia-para-Dados" foi significativamente acelerado, com o sistema gerando ~100 experimentos por semana comparado a 1–10 para fluxos de trabalho humanos, com um custo de tokens de LLM mínimo em relação às horas de engenharia humana.

Significância e Alegações

O artigo afirma que este trabalho representa um passo fundamental para mudar o papel do Engenheiro de Machine Learning de geração de código manual e ajuste para a definição de salvaguardas estratégicas e visão de longo prazo.

• Além do AutoML: O sistema demonstra uma transição de "ajuste automatizado" (seleção de espaços fixos) para "descoberta científica autônoma" (geração de novas hipóteses e mudanças estruturais).
• Generalização: O framework adaptou-se com sucesso a uma superfície de recomendação diferente do YouTube, com um esquema de recursos e configuração de modelo completamente diferentes, sem necessidade de reengenharia, sugerindo que o sistema otimiza o processo de descoberta em vez de memorizar conjuntos de dados específicos.
• Escalabilidade: Ao desacoplar a descoberta offline de alta frequência da validação online de baixa frequência, o sistema remove a largura de banda cognitiva humana como um gargalo, permitindo a exploração da "cauda longa" do espaço de configuração que é inacessível aos fluxos de trabalho manuais.

Os autores concluem que a evolução autônoma, impulsionada por LLM, pode superar os fluxos de trabalho de engenharia tradicionais tanto em velocidade de desenvolvimento quanto em desempenho do modelo, estabelecendo um novo paradigma para o aprendizado de máquina industrial.