Resumo Técnico: Self-EvolveRec

Definição do Problema

O design automatizado tradicional de sistemas de recomendação, particularmente a Busca de Arquitetura Neural (NAS), é limitado por espaços de busca fixos definidos por vieses humanos. Esses métodos limitam a inovação a operadores pré-definidos e frequentemente falham ao otimizar conjuntamente componentes não arquiteturais, como funções de perda e pipelines de processamento de dados. Além disso, os recentes frameworks de evolução de código impulsionados por LLM, embora capazes de exploração de espaço de programa de código aberto, dependem primariamente de métricas escalares (ex: NDCG, Hit Ratio) para orientação. Essas métricas escalares carecem de insight diagnóstico; elas quantificam a degradação de desempenho, mas falham em explicar as causas raízes (ex: viés de popularidade, diversidade de categoria insuficiente ou colapso de embedding) ou fornecer uma direção qualitativa para melhoria. Consequentemente, a evolução nesses sistemas frequentemente degenera em buscas de tentativa e erro sem direção.

Metodologia

Os autores propõem o Self-EvolveRec, um novo framework de evolução de código impulsionado por LLM projetado para estabelecer um ciclo de feedback direcional para automatizar o design de sistemas de recomendação. O framework opera através de três mecanismos centrais:

1. Geração de Feedback Direcional

Em vez de depender apenas de pontuações escalares, o Self-EvolveRec integra duas fontes de feedback complementares para fornecer insights acionáveis:

• Simulador de Usuário (SIM): Um sistema agente que simula diversas personas de usuários (caracterizadas por traços como Atividade, Conformidade e Diversidade) para avaliar listas de recomendação. O SIM gera críticas qualitativas em linguagem natural (ex: "Eu busco acessórios de baixo custo, não eletrônicos caros") que explicam por que uma recomendação falha, abordando desalinhamentos semânticos que as métricas escalares ignoram.
• Ferramenta de Diagnóstico de Modelo (DIAG): Um módulo de sondagem computacional que realiza a verificação quantitativa das propriedades estruturais internas do modelo. Ele detecta problemas ocultos invisíveis à percepção do usuário, como colapso de embedding (via análise de similaridade de cosseno) e deficiências de margem de ranking.

2. Pipeline de Evolução

O framework emprega uma estratégia de exploração baseada em população onde um agente LLM refina iterativamente o codebase através de um workflow de quatro fases:

1. Avaliação Multifacetada: O codebase atual é avaliado para gerar pontuações escalares, relatórios de feedback de usuário ($R_{SIM}$) e relatórios de diagnóstico ($R_{DIAG}$).
2. Planejamento e Recuperação Conscientes de Feedback: O LLM atua como um planejador, formulando consultas de pesquisa específicas baseadas no feedback direcional para recuperar literatura acadêmica relevante (RAG). Isso desloca o foco da coleta de conhecimento geral para a resolução direcionada de falhas.
3. Evolução de Código: Guiado por um relatório de desenvolvimento estruturado derivado do feedback e da literatura recuperada, o LLM implementa modificações precisas no nível de código para evoluir o pipeline de recomendação.
4. Co-evolução Ferramenta de Diagnóstico - Modelo: À medida que a arquitetura de recomendação evolui (ex: introduzindo novos encoders ou funções de perda), uma ferramenta de diagnóstico estática torna-se obsoleta. O Self-EvolveRec introduz uma estratégia de co-evolução onde a própria ferramenta DIAG é atualizada. O LLM analisa mudanças estruturais e críticas de usuários para gerar dinamicamente novas métricas e sondagens capazes de verificar os novos componentes e traduzir o feedback qualitativo em sinais mensuráveis.

3. Variante Eficiente

Para abordar os custos computacionais, os autores propõem uma variante eficiente usando proxies de custo zero. Esta abordagem estima o potencial do pipeline via uma única passagem forward-backward em um mini-batch, utilizando sinais como rank efetivo e normas de gradiente, permitindo implantação escalável com um aumento de velocidade de até 12×.

Principais Contribuições

• Ciclo de Feedback Direcional: A integração de simulação de usuário qualitativa e diagnóstico de modelo quantitativo para guiar a evolução de código, indo além da otimização de métricas escalares.
• Co-evolução Ferramenta de Diagnóstico - Modelo: Uma estratégia inovadora que garante que os critérios de avaliação se adaptem dinamicamente às mudanças estruturais no codebase, mantendo a validade do ciclo de feedback durante todo o processo evolutivo.
• Otimização de Código Aberto: Demonstração de que a mudança de pools de operadores fechados para espaços de programas de código aberto, guiados por feedback direcional, permite a invenção de novos componentes além dos espaços de design pré-definidos.

Resultados Experimentais

Experimentos extensivos foram conduzidos em quatro datasets (Amazon CDs, Electronics, Office e MovieLens) comparando o Self-EvolveRec contra baselines de NAS de última geração (AutoFIS, NASRec, etc.) e frameworks de evolução impulsionados por LLM (AlphaEvolve, DeepEvolve).

• Desempenho de Recomendação: O Self-EvolveRec superou consistentemente todos os baselines em métricas padrão (NDCG@5, HR@5) em todos os datasets e arquiteturas semente (NCF, NGCF, SASRec, MoRec). Notavelmente, ele atingiu o pico de desempenho em menos iterações (8–11) comparado aos baselines (13–19) ou falhou em melhorar.
• Satisfação do Usuário: Avaliado usando simuladores agentes (Agent4Rec e PUB) com esquemas de personas distintos, o Self-EvolveRec demonstrou desempenho superior em métricas centradas no usuário (Visualização, Satisfação, Profundidade), indicando que os modelos evoluídos se alinham melhor com necessidades complexas de usuários e comportamentos de retenção.
• Qualidade do Codebase: Uma avaliação de LLM-as-a-Judge revelou que o Self-EvolveRec produziu código com pontuações mais altas em Criatividade, Explicitação, Insight e Personalização em comparação aos baselines.
• Robustez: O framework mostrou forte adaptabilidade em cenários de inicialização extrema, evoluindo com sucesso de recomendadores aleatórios para pipelines competitivos e refinando modelos de ensemble complexos onde baselines baseados apenas em escala falharam.

Significância

O artigo afirma que o Self-EvolveRec aborda a limitação crítica dos métodos de design automatizado existentes: a falta de insight diagnóstico na otimização. Ao estabelecer um ciclo de feedback direcional que combina críticas qualitativas de usuários com verificação estrutural quantitativa, o framework permite uma evolução direcionada e baseada em causas raízes. A introdução da estratégia de Co-evolução Ferramenta de Diagnóstico - Modelo garante que o mecanismo de avaliação permaneça relevante conforme o sistema evolui, evitando que o ciclo de feedback se torne obsoleto. Os resultados sugerem que esta abordagem não apenas melhora a precisão da recomendação, mas também aumenta a qualidade técnica e a centralidade no usuário dos algoritmos gerados, oferecendo um caminho robusto para o design de sistemas de recomendação totalmente autônomos.