Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

No mundo das compras online e da transmissão de mídia, os algoritmos fazem mais do que apenas adivinhar o que você pode gostar; eles buscam cada vez mais explicar o porquê. Quando um sistema sugere um filme ou um restaurante, ele frequentemente adiciona uma frase ou duas para justificar a escolha, esperando que esse pequeno fragmento de contexto gere confiança e mantenha você clicando. Para fazer com que essas explicações soem naturais e humanas, muitos sistemas modernos utilizam programas de computador poderosos conhecidos como modelos de linguagem de grande escala. Esses modelos são como vastas bibliotecas de escrita humana que podem gerar textos inéditos sob demanda. No entanto, essa conveniência vem com um preço elevado. Cada vez que um usuário solicita uma recomendação, o sistema deve recorrer a esse programa massivo para escrever uma nova explicação do zero. Esse processo leva tempo — muitas vezes centenas de milissegundos — e custa dinheiro que cresce diretamente com o número de pessoas usando o serviço. Para empresas que atendem milhões de solicitações a cada segundo, esse atraso e despesa tornam-se um gargalo significativo.

Pesquisadores da Amazon buscaram resolver esse problema mudando a forma como essas explicações são criadas. Em vez de pedir ao computador para escrever uma nova explicação toda vez que um usuário faz uma solicção, eles propuseram um processo de duas etapas. Primeiro, eles geram um grande conjunto de possíveis explicações antecipadamente, enquanto o sistema está ocioso. Depois, quando uma solicitação real chega, um programa muito menor e mais rápido simplesmente escolhe a melhor opção dessa lista pré-fabricada. Essa abordagem elimina a necessidade de chips de computador caros e lentos durante o momento real da interação, permitindo que o sistema responda em menos de um décimo de segundo. A equipe testou este método contra sistemas existentes e descobriu uma verdade surpreendente sobre como treinar o programa de seleção. Eles descobriram que um método tradicional de classificação de itens, que compara pares de opções entre si, funcionou significativamente melhor do que as técnicas mais complexas e modernas frequentemente usadas em pesquisa de inteligência artificial.

O cerne deste trabalho envolve uma separação de deveres simples, porém inteligente. Os pesquisadores utilizaram dois tipos diferentes de modelos de linguagem de grande escala para gerar um conjunto de explicações candidatas para cada combinação possível de um usuário e um item. Eles criaram esses candidatos usando seis estilos de escrita diferentes, variando de resumos simples a raciocínios mais complexos baseados em avaliações passadas. Isso resultou em uma coleção congelada de opções para cada par usuário-item. No momento em que um usuário faz uma solicitação, um programa seletor leve, executado em processadores de computador padrão sem qualquer hardware gráfico especializado, examina esse pequeno grupo e escolhe a única melhor explicação. Todo o processo é projetado para ser rápido e barato, evitando a latência e o custo de gerar novo texto em tempo real.

Para ver se essa ideia funcionava, a equipe a testou em dois conjuntos de dados diferentes: um envolvendo negócios locais, como restaurantes, e outro envolvendo filmes. Eles compararam seu novo seletor com vários métodos existentes, incluindo sistemas que geram explicações em tempo real e várias técnicas de treinamento de inteligência artificial. O resultado mais marcante veio da comparação de como o seletor foi treinado. Os pesquisadores testaram um grupo de métodos de treinamento avançados que dependem de tentativa e erro, onde o computador aprende ao escolher uma opção de cada vez e observar o quão bem ela desempenha. Eles também testaram um método mais simples e antigo que aprende ao comparar dois itens de uma só vez para decidir qual é melhor.

Os resultados foram claros e consistentes. O método mais simples, que compara pares de candidatos, superou consistentemente as abordagens de tentativa e erro mais complexas. No conjunto de dados de negócios locais, o método de comparação de pares alcançou uma pontuação de 0,500, superando os melhores sistemas existentes por uma margem perceptível. Os métodos de tentativa e erro, que são frequentemente populares na pesquisa atual, ficaram aquém. Os pesquisadores explicaram que isso aconteceu porque o método de comparação de pares utiliza todas as informações disponíveis de uma só vez. Quando o sistema possui uma lista de candidatos, cada um com uma pontuação de qualidade conhecida, o método de comparação de pares observa cada um deles para aprender. Em contraste, os métodos de tentativa e erro observam apenas a opção que por acaso escolheram em um determinado momento, ignorando as pontuações de qualidade das outras opções que deixaram passar. Isso significava que os métodos mais complexos estavam, efetivamente, jogando fora a maior parte dos dados úteis.

O estudo também explorou uma maneira diferente de gerar candidatos, usando um mapa de relacionamentos entre usuários, itens e outros fatos para traçar caminhos e criar explicações. Embora este método tenha produzido saídas muito diversas que raramente repetiam as mesmas frases, ele não igualou a qualidade do conjunto pré-gerado quando medido pelo padrão de quão bem a explicação correspondia a uma referência escrita por humanos. Isso destacou uma troca: o conjunto pré-gerado era melhor em corresponder a estilos de referência específicos, enquanto o método baseado em caminhos era melhor em garantir variedade.

Outra descoberta importante diz respeito à escolha do programa de computador usado para gerar o conjunto inicial de candidatos. Os pesquisadores testaram se usar um modelo de linguagem mais novo e avançado para criar o conjunto melhoraria os resultados finais. Eles descobriram que, embora o modelo mais novo produzisse um texto ligeiramente mais variado e menos repetitivo, isso resultou em uma pequena queda na pontuação de qualidade final. Isso aconteceu porque o estilo do modelo mais novo desviou-se ligeiramente do estilo específico do texto de referência que o sistema estava tentando corresponder. Isso sugere que simplesmente atualizar o gerador não torna o sistema inteiro melhor automaticamente; o seletor e o gerador devem ser ajustados para trabalhar juntos, e às vezes um gerador um pouco mais antigo e consistente é preferível.

Os pesquisadores também testaram se combinar diferentes técnicas de treinamento poderia melhorar o desempenho. Eles tentaram pegar um modelo treinado com o método de comparação de pares bem-sucedido e, em seguida, refiná-lo com a abordagem de tentativa e erro. Essa combinação não ajudou; na verdade, tornou os resultados ligeiramente piores. O processo de ajuste fino empurrou o modelo para longe das escolhas precisas que ele já havia aprendido, fazendo com que se tornasse menos confiante e menos preciso. Este resultado negativo reforçou a ideia de que, uma vez que um modelo aprendeu a classificação correta a partir de dados densos, adicionar etapas complexas de reforço é desnecessário e potencialmente prejudicial.

Ao longo dos experimentos, a equipe foi cuidadosa para garantir que seus resultados fossem confiáveis. Eles realizaram os testes várias vezes com diferentes pontos de partida aleatórios para confirmar que a classificação dos métodos não era apenas uma sorte casual. As diferenças entre o melhor executor e os demais eram grandes o suficiente para serem estatisticamente significativas, o que significa que a conclusão de que o método de comparação de pares é superior é robusta. Todo o sistema, incluindo o tempo para gerar o conjunto inicial e treinar os seletores, poderia ser construído em hardware de computador padrão por um custo muito baixo, aproximadamente quinze dólares em tempo de computação. No momento da interação do usuário, o sistema custa quase nada para rodar, pois requer apenas uma busca rápida em um cache e um cálculo simples.

Este trabalho oferece uma lição prática para a construção de sistemas de recomendação em larga escala. Sugere que, quando o objetivo é escolher a melhor opção de uma lista de candidatos pré-fabricados, a ferramenta mais eficaz é frequentemente um método de classificação direto que utiliza todos os dados disponíveis, em vez de um sistema de aprendizado complexo que amostra apenas algumas opções de cada vez. Ao mover o trabalho pesado de geração de texto para uma fase offline e usar um seletor rápido e eficiente para a decisão em tempo real, as empresas podem fornecer explicações de alta qualidade a milhões de usuários sem o atraso e a despesa de gerar um novo texto para cada solicitação individual. O estudo demonstra que, às vezes, a solução mais eficaz não é tornar a inteligência artificial mais complexa, mas sim estruturar o problema para que os dados disponíveis possam ser usados de forma mais completa.