Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

Este artigo descreve como o uso de um modelo de linguagem grande (LLM) especializado e ajustado para gerar milhões de rótulos de relevância textual permitiu aprimorar o sistema de classificação da App Store, resultando em ganhos simultâneos na relevância comportamental e textual e em um aumento estatisticamente significativo na taxa de conversão, especialmente para consultas de cauda longa.

O essencial

Imagine que a App Store é uma biblioteca gigante com milhões de livros (aplicativos). O trabalho do "bibliotecário" (o algoritmo de busca) é adivinhar qual livro você quer ler quando você diz apenas uma palavra-chave, como "receita de bolo".

O grande desafio que os cientistas da Apple enfrentaram é o seguinte: eles têm dois tipos de feedback para saber se o bibliotecário está fazendo um bom trabalho, mas um deles é muito mais raro que o outro:

1. O Feedback dos Usuários (Comportamento): É fácil. Se você clica no livro ou o baixa, o sistema sabe: "Ok, esse foi bom!". Isso acontece milhões de vezes por dia.
2. O Feedback do Especialista (Texto/Semântica): É difícil. Um humano precisa ler o título, a descrição e a sua pergunta e dizer: "Esse livro combina perfeitamente com o que você pediu, mesmo que ninguém tenha baixado ainda". Isso é caro, demorado e eles têm poucos desses especialistas.

O Problema: O sistema estava muito bom em adivinhar o que as pessoas clicavam, mas ruim em entender o que elas realmente queriam quando não havia muitos cliques (como em perguntas estranhas ou muito específicas).

A Solução: O "Estagiário Inteligente" (LLM)

Para resolver a falta de especialistas, a equipe criou um Estagiário Inteligente (um Modelo de Linguagem Grande, ou LLM). A ideia era treinar esse estagiário para agir como um especialista humano, mas em velocidade de computador.

Eles testaram três versões desse estagiário:

• Um estagiário gigante, mas que nunca estudou as regras da biblioteca (Modelo Pré-treinado Grande).
• Um estagiário médio, que também não estudou as regras (Modelo Pré-treinado Médio).
• Um estagiário médio, mas que leu todos os manuais e fez um curso intensivo com os especialistas humanos (Modelo Ajustado/Fine-tuned).

A Grande Surpresa: O estagiário médio que fez o curso (o modelo ajustado) ficou muito melhor do que o gigante que não estudou. Ele aprendeu a "falar a língua" da Apple e a julgar a relevância dos aplicativos com a mesma precisão de um humano, mas gerando milhões de avaliações em segundos.

O Resultado: Um Mapa Mais Preciso

Com esse estagiário gerando milhões de novas "avaliações de especialista", eles puderam ensinar o bibliotecário principal (o algoritmo de busca) de uma forma nova.

Imagine que o bibliotecário estava tentando equilibrar dois pratos:

• Prato A: O que as pessoas clicam.
• Prato B: O que faz sentido semanticamente (o que o especialista diz).

Antes, o Prato B estava vazio porque faltavam avaliações. Agora, com o estagiário enchendo o Prato B, o bibliotecário conseguiu encontrar o equilíbrio perfeito.

O que aconteceu na prática?

1. Melhoria Geral: O sistema ficou melhor em tudo. As pessoas encontraram o que queriam mais rápido.
2. O Milagre da "Cauda": O maior ganho aconteceu nas perguntas raras (as "caudas" da distribuição).
   • Analogia: Se você pergunta "como consertar um relógio de bolso de 1890", quase ninguém clica em nada porque é algo muito específico. O sistema antigo ficava perdido. Mas o novo sistema, com a ajuda do estagiário, sabia que o aplicativo de "relojoeiro" era a resposta perfeita, mesmo sem ninguém ter baixado antes. Ele preencheu as lacunas onde os dados de usuários não chegavam.

O Teste Final (A/B Test)

Eles colocaram esse novo sistema para funcionar no mundo real, para milhões de usuários ao redor do globo.

• Resultado: A taxa de conversão (pessoas que baixaram um app após pesquisar) aumentou em 0,24%.
• Parece pouco? Em uma empresa gigante como a Apple, isso significa milhões de aplicativos baixados a mais e usuários muito mais felizes.

Resumo em uma frase

A Apple usou uma Inteligência Artificial treinada para agir como um "juiz especialista" e gerar milhões de avaliações de qualidade, permitindo que o sistema de busca entendesse melhor o que os usuários querem, especialmente nas perguntas difíceis e raras onde os dados de cliques não ajudam.

Resumo técnico

Resumo Técnico: Escalando a Relevância de Pesquisa com Julgamentos Gerados por LLMs na App Store

1. O Problema

Sistemas de pesquisa em larga escala, como a App Store, precisam otimizar simultaneamente dois objetivos complementares para garantir a satisfação do usuário:

• Relevância Comportamental: Baseada em ações reais dos usuários (cliques e downloads). Embora abundante, essa métrica pode ser ruidosa ou inexistente para consultas de baixa frequência.
• Relevância Textual: Baseada na adequação semântica entre a consulta e o resultado, geralmente avaliada por especialistas humanos.

O desafio central identificado pelos autores é a escassez de rótulos de relevância textual. A produção de rótulos por juízes humanos é cara, lenta e não escala, criando um gargalo que deixa o objetivo de relevância textual sub-otimizado em comparação com o objetivo comportamental. Isso limita a capacidade do sistema de aprender a entender a semântica da consulta, especialmente para consultas de cauda longa (tail queries), onde os dados comportamentais são insuficientes.

2. Metodologia

A equipe da Apple propôs uma abordagem de duas etapas para superar essa escassez de dados, utilizando o paradigma "LLM como Juiz" (LLM-as-a-Judge) em escala industrial:

A. Geração de Rótulos com LLMs:

• Avaliação de Configurações: Os autores compararam várias configurações de modelos de linguagem (LLMs) internos, incluindo modelos pré-treinados de grande porte (30B parâmetros) e modelos menores (3B parâmetros).
• Fine-tuning: O ponto crucial foi o fine-tuning (ajuste fino) de um modelo menor (3B) utilizando o conjunto de dados de julgamentos existentes de juízes humanos.
• Prompting: Foram utilizados prompts few-shot (com exemplos) que forneciam a consulta, os metadados do aplicativo e as diretrizes de avaliação, solicitando ao modelo que classificasse a relevância em uma escala específica.
• Geração em Larga Escala: O modelo otimizado (ajustado) foi usado para gerar milhões de novos rótulos de relevância textual para pares consulta-aplicativo, cobrindo múltiplos idiomas e lojas de aplicativos.

B. Treinamento do Ranker Multi-Objetivo:

• Os novos rótulos gerados pelo LLM foram integrados ao pipeline de treinamento do ranker de produção existente.
• O sistema utiliza Otimização Multi-Objetivo (MOO) com uma técnica de scalarization (escalarização). Isso permite combinar os dois objetivos (comportamental e textual) em uma única função de perda, controlando a proporção de mistura dos dados como um hiperparâmetro.
• O mesmo par consulta-aplicativo pode aparecer no conjunto de treinamento múltiplas vezes: uma vez com um rótulo comportamental e outra com um rótulo textual (humano ou gerado por LLM), permitindo que o modelo aprenda a equilibrar ambos os sinais.

3. Contribuições Principais

1. Validação Industrial do "LLM como Juiz": Demonstraram que um modelo LLM ajustado finamente, mesmo sendo menor (3B parâmetros), supera significativamente modelos pré-treinados muito maiores (30B parâmetros) na tarefa de gerar rótulos de relevância alinhados com juízes humanos.
2. Expansão Massiva de Dados: Geraram milhões de rótulos de relevância textual de alta qualidade, superando o gargalo de anotação humana e expandindo drasticamente o conjunto de dados de treinamento.
3. Deslocamento da Fronteira de Pareto: Provaram que a adição desses rótulos não apenas melhora uma métrica isolada, mas desloca a fronteira de Pareto para fora. Isso significa que o modelo consegue melhorar a relevância textual e a relevância comportamental simultaneamente, superando estritamente o modelo de produção anterior.
4. Validação em Ambiente Real: Confirmaram a eficácia da abordagem através de testes A/B globais na App Store, demonstrando ganhos mensuráveis em métricas de conversão.

4. Resultados

Avaliação Offline (Qualidade do LLM):

• O modelo Fine-tuned 3B (FT-3B) alcançou um F1-score de 0,800, superando o modelo pré-treinado de 30B (F1: 0,382) e o pré-treinado de 3B (F1: 0,287).
• Isso indica que o ajuste fino em dados específicos do domínio é mais eficaz do que simplesmente aumentar o tamanho do modelo.

Avaliação Offline (Ranker):

• O modelo aumentado com LLM (llm-augmented) superou o modelo de produção (prod) em todas as métricas NDCG (Normalized Discounted Cumulative Gain) para relevância textual e comportamental nos ranks 1, 3 e 7.
• Exemplo: NDCG@1 para relevância comportamental subiu de 0,646 para 0,652.

Teste A/B Online:

• Taxa de Conversão: Houve um aumento estatisticamente significativo de +0,24% na taxa de conversão (sessões com pelo menos um download).
• Impacto por Frequência de Consulta: Os maiores ganhos ocorreram nas consultas de cauda longa (tail queries).
  • Motivo: Consultas raras não geram dados comportamentais suficientes para treinar o modelo. Os rótulos textuais gerados pelo LLM preenchem essa lacuna, fornecendo um sinal robusto onde os dados de comportamento são escassos ou inexistentes.

5. Significado e Conclusão

Este trabalho oferece um roteiro prático para sistemas de pesquisa em escala industrial enfrentarem a escassez de dados de anotação. A principal descoberta é que LLMs ajustados finamente podem atuar como multiplicadores de força para anotação humana, permitindo que sistemas de classificação multi-objetivo alcancem um equilíbrio superior entre semântica e comportamento do usuário.

A abordagem é economicamente viável (usando modelos menores e ajustados) e tecnicamente robusta, resolvendo o problema de "frio inicial" para consultas raras e melhorando a experiência geral de descoberta de aplicativos na App Store. O estudo sugere que o futuro da otimização de rankers reside na geração sintética de dados de alta qualidade para treinar modelos, em vez de depender exclusivamente de anotações humanas limitadas.