🤖 machine learning

PRQ-KMeans: Projection Residual Quantization for Semantic ID Tokenization

Este artigo introduz o PRQ-KMeans, um método de tokenização de ID semântico post-hoc que melhora a quantização residual tradicional ao remover componentes de média global, refinar centroides com atualizações ponderadas por similaridade e empregar resíduos de projeção para alcançar um desempenho superior em tarefas de recuperação generativa e recomendação.

Autores originais: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas vastas bibliotecas digitais da internet, onde bilhões de produtos, artigos e vídeos competem pela atenção, os computadores precisam de uma maneira de organizar a informação que vá além de simples rótulos. Os sistemas tradicionais frequentemente dependem de códigos únicos para cada item, de forma muito semelhante a um catálogo de fichas de uma biblioteca, onde cada livro possui um número distinto. No entanto, a inteligência artificial moderna está aprendendo a entender o significado por trás desses itens, agrupando-os pelo que eles são, em vez de apenas pelo que são chamados. Essa abordagem, conhecida como recuperação generativa, permite que as máquinas prevejam e encontrem conteúdos relevantes ao gerar sequências curtas de palavras ou tokens que descrevem a essência de um item. Para fazer isso funcionar de maneira eficiente, pesquisadores desenvolveram métodos para decompor dados complexos em camadas hierárquicas, onde os primeiros tokens descrevem uma categoria ampla e os tokens posteriores afunilam para detalhes específicos. O desafio reside em como remover as características compartilhadas e comuns de um grupo de itens em cada etapa, para que a informação restante seja puramente o que torna o próximo nível de detalhe único. Se o sistema falhar em remover essas características comuns de forma limpa, ele desperdiça sua capacidade repetindo informações que já aprendeu, deixando menos espaço para distinguir entre os itens que mais importam.

Uma equipe de pesquisadores da Kuaishou Technology abordou esse problema específico com um novo método chamado PRQ-KMeans. O trabalho deles foca na mecânica de como esses códigos hierárquicos são construídos, identificando uma falha sutil na forma como os sistemas anteriores lidavam com a transição de um nível de detalhe para o próximo. Na abordagem padrão, quando um computador seleciona um "centro" representativo para um grupo de itens semelhantes, ele simplesmente subtrai esse centro dos dados do item para criar uma peça restante, ou resíduo, para ser analisada posteriormente. Os pesquisadores descobriram que essa subtração simples frequentemente deixa para trás um eco tênue do centro original, um componente residual que viaja com os dados para o próximo nível. Esse eco é problemático porque faz com que a próxima camada do sistema perca tempo reanalisando diferenças que já foram contabilizadas, efetivamente obscurecendo a distinção entre itens que deveriam estar claramente separados.

Para resolver isso, a equipe introduziu um processo de "remoção progressiva de comunalidade", que atua como um filtro mais preciso. Em vez de apenas subtrair uma média padrão, o método deles primeiro remove um componente de fundo global que é compartilhado por todo o conjunto de dados, garantindo que o sistema comece com uma folha limpa. Em seguida, ao construir cada camada da hierarquia, utiliza uma técnica chamada projeção para remover a influência específica do centro escolhido. Imagine um vetor de dados como uma linha apontando em uma direção específica; o método dos pesquisadores garante que os dados restantes enviados para o próximo nível sejam perfeitamente perpendiculares à direção do centro pelo qual acabaram de passar. Isso garante que nenhuma parte da decisão anterior vaze para a próxima etapa, forçando o sistema a focar inteiramente nas novas diferenças únicas que definem os detalhes mais finos. Eles também refinaram como o sistema agrupa itens ao permitir que os pontos de dados influenciem não apenas seu vizinho mais próximo, mas um pequeno círculo de candidatos próximos, criando um mapa mais preciso do cenário de dados antes de tomar uma decisão final.

Os resultados da aplicação deste método foram medidos contra sistemas existentes usando um enorme conjunto de dados de um mecanismo de busca de comércio eletrônico industrial contendo milhões de itens e consultas. O novo método demonstrou uma vantagem clara na forma como organizou os dados e na eficácia com que ajudou o mecanismo de busca a encontrar os produtos certos. Neste conjunto de dados industrial, o novo método melhorou a capacidade do sistema de atingir o item correto nos cinquenta primeiros resultados em 7,4 por cento e melhorou o ranking do item correto em 11,8 por cento em comparação com o melhor método anterior. Esses ganhos não se limitaram a apenas um tipo de dado; os pesquisadores também testaram o método em quatro benchmarks públicos de recomendação cobrindo esportes, brinquedos, roupas e música. Em todos os casos, o novo método teve um desempenho igual ou superior às principais alternativas, provando que a técnica funciona em diferentes tipos de conteúdo.

Além dos números, os pesquisadores visualizaram como os mapas internos do sistema mudaram com seu novo método. Nos sistemas mais antigos, as camadas de organização tendiam a se aglomerar, com as camadas posteriores se agrupando densamente no centro porque ainda carregavam o "eco" das decisões anteriores. Com o novo método de projeção, as camadas se espalham de forma mais uniforme, utilizando todo o espaço disponível para distinguir entre os itens. Essa melhoria estrutural significou que o sistema poderia atribuir códigos mais únicos a diferentes produtos, reduzindo o número de vezes que itens não relacionados eram forçados a compartilhar o mesmo identificador. Ao controlar cuidadosamente exatamente qual informação é passada de um nível de análise para o próximo, os pesquisadores mostraram que é possível construir um sistema mais eficiente e preciso para encontrar coisas em um mundo digital, transformando uma correção matemática sutil em um ganho prático significativo para a forma como pesquisamos e descobrimos conteúdo online.

Resumo Técnico: PRQ-KMeans

Definição do Problema
Identificadores Semânticos (SIDs) representam entidades como sequências de tokens hierárquicos para recuperação e recomendação generativas. Uma abordagem comum para construir esses identificadores é a Quantização Residual (RQ), onde um código é selecionado em cada nível para representar um componente da entidade, e o resíduo (a diferença entre a representação e o código) é passado para o próximo nível.

Os autores identificam três limitações específicas nos tokenizadores RQ padrão (como RQ-KMeans e RQ-VAE) que dificultam a eficiência da construção de SIDs hierárquicos:

Dominância de Componente Global: Um componente compartilhado por todo o corpus (média global) pode dominar as representações iniciais. No RQ padrão, o primeiro codebook deve gastar sua capacidade modelando esse fundo global em vez de distinguir diferenças grosseiras entre as entidades.
Limitações de Atribuição Rígida (Hard Assignment): O K-Means padrão utiliza atribuição rígida, onde uma representação atualiza apenas seu único centroide mais próximo. Isso ignora similaridades graduais com codewords próximos, descartando informações úteis perto das fronteiras dos clusters.
Carryover de Resíduo: O RQ padrão subtrai o vetor do centroide completo da representação. No entanto, se uma representação individual contiver uma magnitude diferente da componente direcional do centroide do que o próprio centroide, a subtração deixa um "carryover de resíduo" (positivo ou negativo) ao longo da direção do centroide selecionado. Isso força os codebooks subsequentes a revisitar a variação já representada pelo token atual, reduzindo a utilização dos níveis posteriores do SID.

Metodologia: PRQ-KMeans
O artigo propõe o PRQ-KMeans (Projection Residual Quantization K-Means), um tokenizador de SID hierárquico post-hoc projetado para abordar essas limitações através da "remoção progressiva de comunalidade". Diferente dos métodos baseados em VAE, que são limitados pela reconstrução aditiva, o PRQ-KMeans opera sobre embeddings existentes sem exigir que os codewords reconstruam a entrada, permitindo que o resíduo preserve apenas as diferenças necessárias para os níveis futuros.

O método consiste em três mecanismos principais:

Remoção de Componente Global: Antes de ajustar o primeiro codebook, o PRQ-KMeans projeta cada embedding de entrada sobre a média global do corpus e subtrai este componente. Isso evita que o fundo global consuma a capacidade do primeiro nível de codebook.
Refinamento Suave de Top-k Centroids: Durante o ajuste de cada codebook, o algoritmo emprega uma etapa de refinamento suave. Em vez de atualizar apenas o centroide mais próximo, ele identifica os $k$ centroides mais próximos baseados na similaridade de cosseno. Em seguida, atualiza esses centroides usando pesos proporcionais aos escores de similaridade (via um softmax com parâmetro de concentração $\beta$ ). Isso permite que representações próximas às fronteiras dos clusters contribuam para múltiplos centroides próximos, melhorando a estimativa do centroide.
Construção de Resíduo de Projeção: Após a atribuição rígida selecionar um centroide, o PRQ-KMeans não subtrai o vetor total do centroide. Em vez disso, ele calcula o resíduo de projeção. Ele remove apenas a componente da representação que reside ao longo da direção do centroide selecionado, garantindo que o resíduo resultante seja estritamente ortogonal a esse centroide. Isso elimina o problema do "carryover de resíduo", garantindo que o nível seguinte receba uma representação livre da variação já capturada pelo token atual.

Principais Contribuições

Estrutura Conceitual: Os autores introduzem a visão da construção de SID hierárquico como "remoção progressiva de comunalidade", identificando que a construção do resíduo determina quais informações são passadas entre os níveis. Eles caracterizam explicitamente o "carryover de resíduo" como uma fonte de ineficiência no RQ padrão.
Inovação Algorítmica: Eles propõem o PRQ-KMeans, que integra remoção de componente global, refinamento suave de Top-k e construção de resíduo baseada em projeção.
Validação Empírica: O método é avaliado em um conjunto de dados de busca de e-commerce de larga escala e quatro benchmarks públicos de recomendação (Amazon Sports, Toys, Clothing e LastFM).

Resultados Experimentais

Dataset Industrial: O PRQ-KMeans alcançou o desempenho geral mais forte entre os tokenizadores avaliados. Comparado ao baseline robusto RQ-KMeans, melhorou o HitRate em 7,4% e o MRM em 11,8% na tarefa de Order, e 6,4% e 8,9% na tarefa de Click. Também demonstrou qualidade de codebook superior, com maior utilização de prefixos e menores coeficientes de Gini (indicando melhor distribuição de tokens).
Benchmarks Públicos: O PRQ-KMeans alcançou o melhor ou empatou no melhor desempenho em todas as oito métricas (Recall e NDCG) nos quatro datasets públicos, superando consistentemente o RQ-KMeans e outros baselines como RQ-VAE e RQ-GMM.
Estudos de Ablação: Remover qualquer um dos três componentes (Remoção Global, Refinamento Suave ou Projeção) resultou em degradação de desempenho, confirmando que todos os três mecanismos contribuem para a eficácia do método.
Robustez: O método manteve sua superioridade quando testado com diferentes embeddings de entrada (Qwen3 vs. BGE), demonstrando robustez a variações de embedding.

Significância e Alegações
O artigo afirma que o PRQ-KMeans demonstra a eficácia de controlar explicitamente a informação passada entre sucessivos níveis de SID. Ao remover a média global e garantir que os resíduos sejam ortogonais aos centroides selecionados, o método permite que os níveis posteriores da hierarquia utilizem um conjunto mais amplo de prefixos e distingam entidades de forma mais eficaz. Os autores concluem que sua abordagem fornece uma base mais sólida para recuperação e recomendação generativas ao otimizar o próprio processo de tokenização, em vez de depender apenas do modelo downstream para aprender a partir de identificadores subótimos. Os resultados sugerem que modelar e remover o "carryover de resíduo" é um fator crítico e anteriormente subexplorado na quantização hierárquica.

Resumo Técnico: PRQ-KMeans

Mais como este