🤖 AI

AutoRelAnnotator: Calibrated Model Cascades for Cost-Efficient Relevance Evaluation in Sponsored Search

O artigo propõe o AutoRelAnnotator, um sistema de baixo custo que combina ajuste fino específico de domínio, uma arquitetura em cascata e calibração isotônica por classe para gerar anotações de relevância de alta qualidade em escala para busca patrocinada, processando com sucesso mais de 150 milhões de consultas enquanto reduz significativamente os custos de rotulagem humana e as despesas de computação.

Autores originais: Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você administra uma loja online massiva, como o Walmart. Toda vez que um cliente digita uma busca (como "tênis de corrida"), seu computador precisa decidir quais produtos são os mais relevantes para mostrar a ele. Para tomar essa decisão, o computador precisa aprender com exemplos. Mas quem ensina o computador? Humanos.

O problema é que contratar humanos para rotular milhões de resultados de busca é lento (levando dias) e caro (custando centenas de milhares de dólares). Por outro lado, usar modelos de IA sofisticados e caros (como o GPT-4) para fazer esse rotulamento é mais rápido, mas eles não são muito bons em entender os produtos específicos da sua loja, o que leva a erros.

Os autores deste artigo, da Walmart Global Tech, criaram um sistema inteligente chamado AutoRelAnnotator para resolver isso. Pense nele como um "Sistema de Triagem" altamente eficiente para rotular resultados de busca.

Aqui está como ele funciona, dividido em conceitos simples:

1. O Problema do "Tamanho Único" da IA

Imagine que você tem uma equipe de especialistas. Se você pedir a um professor mundialmente famoso (um modelo de IA gigante) para realizar uma tarefa simples como "Isso é uma maçã vermelha?", ele pode pensar demais, levar muito tempo e, ainda assim, errar porque não é um especialista em frutas.
O artigo descobriu que os modelos de IA padrão, prontos para uso, tinham apenas cerca de 68–70% de precisão ao julgar a relevância para a loja específica deles. Eles precisavam de 89% de precisão para serem úteis.

2. A Solução: Um "Filtro" de Três Camadas (A Cascata)

Em vez de pedir a uma IA gigante e cara para fazer tudo, os autores construíram uma corrida de revezamento com três corredores, cada um ficando ligeiramente mais caro, porém mais inteligente.

Corredor 1 (O Velocista): Um modelo pequeno, rápido e barato (Cross-Encoder). Ele analisa o termo de busca e o título do produto. É muito rápido (5 milissegundos).
Corredor 2 (O Meio-Fundo): Um modelo de tamanho médio (Gemma-2B). Ele leva cerca de 50 milissegundos.
Corredor 3 (O Maratonista): Um modelo grande e poderoso (LLaMA-8B). Ele leva 200 milissegundos.

Como a corrida funciona:
O sistema pede ao Corredor 1 para fazer um palpite.

Se o Corredor 1 estiver muito confiante (ex: "Tenho 95% de certeza de que é uma combinação perfeita!"), o sistema aceita a resposta e para. Não há necessidade de chamar os corredores mais caros.
Se o Corredor 1 estiver incerto (ex: "Acho que é uma combinação, mas só tenho 60% de certeza"), ele passa o bastão para o Corredor 2.
Se o Corredor 2 também estiver incerto, ele passa para o Corredor 3.
Se até o Corredor 3 estiver confuso, os três modelos votam juntos para tomar uma decisão final.

A Magia: Essa abordagem de "cascata" significa que o sistema só usa os modelos caros e lentos para as perguntas difíceis. Para as perguntas fáceis (que são a maioria delas), ele usa o modelo barato e rápido. Isso reduz o custo computacional pela metade sem perder a precisão.

3. O Ingrediente Secreto: "Calibração" (O Treinador de Confiança)

Há um detalhe: as IAs costumam mentir sobre o quão seguras estão. Elas podem dizer: "Estou 90% segura", quando na verdade estão apenas 60% seguras. Se o sistema confiar nessa mentira, ele para cedo demais e comete um erro.

Os autores adicionaram um Treinador de Calibração (especificamente, "calibração isotônica por classe").

Pense neste treinador como um árbitro que observa os corredores e diz: "Ei, quando você diz que está 90% seguro na 'Classe A', na verdade você está apenas 80% seguro. Vamos ajustar sua pontuação de confiança".
O artigo descobriu que corrigir essas pontuações de confiança para cada tipo específico de resposta (ex: "Combinação Perfeita" vs. "Combinação Ruim") separadamente ajudou o sistema a rotear as consultas de forma mais precisa. Isso adicionou um aumento pequeno, mas estatisticamente significativo, na precisão final.

4. O Resultado: Treinando os Modelos Primeiro

Antes mesmo da corrida de revezamento começar, os autores fizeram algo crucial: eles ajustaram (fine-tuning) todos os três modelos.

Em vez de usar modelos de IA genéricos que sabem tudo sobre o mundo, mas nada sobre a sua loja, eles treinaram esses modelos especificamente com 1,2 milhão de exemplos dos seus próprios dados de busca.
A Analogia: É como pegar um médico generalista e treiná-lo especificamente no "inventário do Walmart". De repente, ele se torna um especialista.
Este passo sozinho elevou a precisão de ~68% para ~89%.

O Resumo Final

Ao combinar esses três ingredientes, a equipe alcançou o "ponto ideal":

O ajuste fino (Fine-tuning) tornou os modelos precisos (o "Cérebro").
A cascata (Cascading) tornou o processo barato e rápido (a "Economia").
A calibração (Calibration) garantiu que os modelos soubessem quando parar e quando pedir ajuda (a "Confiança").

Impacto no Mundo Real:

Velocidade: O que antes levava equipes humanas 5 dias para rotular, agora leva de 1 a 3 horas.
Volume: Eles processaram mais de 150 milhões de anotações.
Custo: Eles cortaram o custo computacional pela metade em comparação ao uso de apenas o modelo grande e poderoso para cada consulta.

Em suma, eles construíram uma linha de montagem inteligente e autocorretiva que rotula resultados de busca tão bem quanto uma equipe de especialistas, mas por uma fração do custo e do tempo.

Resumo Técnico: AutoRelAnnotator

Definição do Problema
A marcação de relevância é crítica para sistemas de classificação de busca, servindo como base para a preparação de dados de treinamento, avaliação de NDCG e análise de causa raiz. No entanto, gerar anotações de alta qualidade em escala enfrenta dois gargalos principais:

Anotação Humana: Embora precisa, é lenta (tempo de resposta de 3 a 5 dias para lotes >10k) e cara ($0,50/anotação), criando um gargalo para experimentação rápida e iteração de modelos.
LLMs Prontos para Uso (Off-the-Shelf): Modelos de Linguagem de Grande Escala genéricos (ex: GPT-4, Claude-3) sofrem com baixa precisão em tarefas de domínio específico (68–70% em uma tarefa de relevância de 5 classes) comparado ao acordo entre anotadores humanos (~89%). Além disso, métodos de cascata de modelos existentes que roteiam consultas entre LLMs prontos para uso não conseguem exceder o teto de precisão de seus modelos constituintes.

Metodologia: Cascata de Modelos Calibrados
Os autores propõem o AutoRelAnnotator, uma abordagem sistemática para anotação de relevância offline que desacopla a melhoria da precisão da redução de custo. O sistema emprega uma cascata de três estágios de classificadores de tamanho progressivamente maior e ajustados (fine-tuned) para o domínio, potencializados por calibração isotônica por classe.

Arquitetura do Sistema:
- Estágio 1: Um Cross-Encoder leve (DeBERTa-v3-base, 184M de parâmetros) processa pares de consulta-título em ~5ms.
- Estágio 2: Um modelo Gemma-2B ajustado via LoRA ( $r=16, \alpha=16$ ), tempo de inferência ~50ms.
- Estágio 3: Um modelo LLaMA-8B (Meta LLaMA-3-8B) com ajuste LoRA semelhante, tempo de inferência ~200ms.
- Fallback: Se nenhum modelo atingir seu limiar de confiança, aplica-se um fallback de ensemble usando votação majoritária (com um critério de desempate que favorece a relevância mais alta).
Ajuste Fino de Domínio (Domain-Specific Fine-Tuning):
Ao contrário de abordagens generativas que exigem parsing de regex, os modelos usam cabeças de classificação para produzir distribuições de probabilidade bem definidas. Todos os modelos são ajustados em 1,2M de pares consulta-produto de dados de busca patrocinada. Este passo é o principal motor da precisão, elevando o desempenho de ~68% (off-the-shelf) para ~89%.
Calibração Isotônica por Classe:
Os autores observam que os escores de confiança brutos são mal calibrados, com os modelos sendo excessivamente confiantes em classes extremas (0, 4) e insuficientemente confiantes em classes intermediárias (1, 2, 3). Para resolver isso, eles aplicam regressão isotônica por classe (seguindo Zadrozny e Elkan) em vez de calibração global.
- Funções de calibração separadas $f_c$ são aprendidas para cada classe prevista $c$ .
- Isso garante que as decisões de roteamento sejam baseadas em escores de confiança confiáveis e condicionais à classe, permitindo que o sistema roteie previsões de alta confiança para modelos mais baratos ou adie casos ambíguos para modelos maiores.
Lógica de Cascata:
As consultas são roteadas através da cascata (Cross-Encoder $\to$ Gemma-2B $\to$ LLaMA-8B). Em cada estágio, se a probabilidade calibrada $p^*_m$ exceder um limiar $\tau_m$ , a previsão é retornada. Caso contrário, a consulta prossegue para o próximo modelo, mais caro.

Principais Contribuições
O artigo apresenta três contribuições específicas:

Otimização Ortogonal: Os autores demonstram que precisão e custo são ortogonais. O ajuste fino (fine-tuning) impulsiona a maior parte dos ganhos de precisão (~20 pontos), enquanto a cascata (cascading) reduz os custos computacionais em ~50% sem sacrificar a precisão.
Calibração por Classe: Eles introduzem a calibração isotônica por classe como um componente crítico da cascata. Isso adiciona um ganho estatisticamente significativo (+0,6 pontos sobre a base de calibração global mais forte, $p<0,05$ ) ao lidar melhor com a má calibração condicional à classe.
Validação em Produção: O sistema foi implantado em seis casos de uso offline (incluindo preparação de dados de treinamento, avaliação de NDCG e análise de causa raiz), processando mais de 150 milhões de anotações. Reduziu o tempo de resposta de 5 dias para 1–3 horas.

Resultos

Precisão: A cascata final atinge 89,1% de precisão.
- Apenas o ajuste fino (único LLaMA-8B) atinge 88,9%, fechando uma lacuna de 20,7 pontos em relação ao GPT-4 (68,2%).
- A cascata de LLMs prontos para uso (GPT-4 $\to$ Claude-3) rende apenas 3,2 pontos de melhoria, confirmando o teto de precisão de roteamentos não calibrados.
- A calibração por classe melhora a precisão da cascata de 88,2% (não calibrada) para 89,1%.
Eficiência de Custo: A configuração de produção atinge 89,1% de precisão com 50,1% de economia de custo em comparação com a execução do maior modelo (LLaMA-8B) em cada consulta.
Distribuição de Roteamento: O Cross-Encoder leve resolve 74,5% das consultas com 91,2% de precisão (superior ao seu desempenho isolado devido ao filtro de calibração). O fallback de ensemble lida com apenas 7,1% das consultas.

Significância e Alegações
O artigo posiciona o AutoRelAnnotator como um bloco de construção para pipelines de anotação offline escaláveis e de alta qualidade em busca e publicidade.

Modularidade: A cascata é modular; modelos individuais podem ser atualizados sem afetar a lógica de roteamento.
Praticidade: Oferece uma alternativa viável à rotulagem humana cara e aos LLMs genéricos imprecisos para tarefas offline onde a latência não é a principal restrição.
Limitações: Os autores observam que o ganho de 20 pontos de precisão é específico para o ajuste fino deste domínio (busca patrocinada) e que o sistema requer dados rotulados substanciais (1,2M para ajuste fino, 50K para calibração). A avaliação é limitada a um único domínio, e dados proprietários impedem a reprodução externa, embora a metodologia seja detalhada para replicação.

O trabalho conclui que, ao desacoplar a precisão (via ajuste fino) e o custo (via cascata), as organizações podem obter anotações de alta qualidade por uma fração do custo computacional, permitindo ciclos de experimentação mais rápidos em sistemas de busca e publicidade.