Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

1. Problema: O Colapso de Inicialização em Vocabulários Estendidos

O artigo aborda um desafio fundamental na adaptação de Modelos de Linguagem (LMs) pré-treinados para tarefas de domínio específico, como a Recomendação Generativa. Nesses cenários, é necessário introduzir milhares de novos tokens aprendíveis (ex: IDs Semânticos ou SIDs) no vocabulário do modelo para representar itens (produtos, vagas de emprego, etc.).

• Prática Atual (Inicialização pela Média): A abordagem padrão consiste em inicializar os novos tokens como a média dos embeddings do vocabulário existente.
• Diagnóstico do Problema: Os autores demonstram que essa estratégia causa um colapso geométrico. Todos os novos tokens começam no mesmo ponto no espaço de embeddings, eliminando qualquer distinção entre eles e apagando a estrutura semântica que deveriam codificar.
• Limitação do Ajuste Fino (Fine-Tuning): A análise espectral e geométrica revela que o ajuste fino supervisionado subsequente não consegue recuperar totalmente essa estrutura perdida. O espaço de embeddings dos novos tokens permanece em um subespaço degenerado de baixa classificação (low-rank), limitando a capacidade do modelo de transferir seu conhecimento geral para o novo domínio.

2. Metodologia: Grounded Token Initialization (GTI)

Para superar essa limitação, os autores propõem a Hipótese de Inicialização de Tokens Fundamentados (Grounded Token Initialization Hypothesis) e a metodologia GTI.

• Conceito Central: Em vez de depender apenas do ajuste fino para "descobrir" a semântica dos novos tokens, eles devem ser fundamentados linguisticamente no espaço de embeddings pré-treinado antes do ajuste fino final. A ideia é que os tokens novos sejam mapeados para regiões distintas e semanticamente significativas, alinhadas com a geometria existente do LM.
• O Processo GTI:
  1. Congelamento: O backbone do LM e os embeddings do vocabulário original são congelados.
  2. Treinamento de Grounding: Apenas os embeddings dos novos tokens (SID) são treinados.
  3. Supervisão Linguística Pareada: Utiliza-se um corpus de pares onde descrições em linguagem natural (títulos, descrições de itens) são mapeadas para as sequências de tokens novos (SIDs) e vice-versa. O modelo aprende a gerar o token correto a partir da descrição e a descrição a partir do token.
  4. Ajuste Fino Final: Após essa etapa de fundamentação, os embeddings aprendidos são usados como inicialização para o ajuste fino padrão do modelo completo para a tarefa downstream.

3. Contribuições Principais

1. Diagnóstico Rigoroso: Demonstração através de análise espectral (decomposição em valores singulares) e geométrica (similaridade de cosseno) de que a inicialização pela média leva a um subespaço degenerado que o ajuste fino não consegue corrigir completamente.
2. Novo Método (GTI): Introdução de uma etapa leve e eficiente de "fundamentação" que mapeia novos tokens para posições semanticamente distintas no espaço pré-treinado, utilizando apenas supervisão linguística pareada.
3. Validação Empírica: Evidências de que a estrutura induzida pela fundamentação persiste durante o ajuste fino, resultando em melhor desempenho em tarefas de recuperação generativa.

4. Resultados Experimentais

Os autores avaliaram o GTI em benchmarks de Recomendação Generativa, utilizando tanto um conjunto de dados industrial em escala (recrutamento de candidatos) quanto um conjunto de dados público (Vibrent Clothes Rental).

• Comparação: O GTI foi comparado contra:
  • Vanilla SFT: Inicialização pela média + ajuste fino padrão.
  • LC-Rec: Uma abordagem existente que usa tarefas auxiliares durante o ajuste fino, mas mantém a inicialização pela média.
• Desempenho:
  • No dataset industrial, o GTI superou significativamente a linha de base, alcançando um ganho relativo de +21,63% na Precisão@5 (Good Match), comparado a apenas +6,38% do método LC-Rec.
  • No dataset público, o GTI também mostrou ganhos substanciais em Recall e NDCG, mesmo sem utilizar tarefas auxiliares complexas durante o ajuste fino.
• Análise de Estrutura:
  • Matrizes de Similaridade: O GTI preservou uma estrutura hierárquica clara entre os tokens SID, enquanto a inicialização pela média resultou em blocos uniformes (colapso) e a inicialização aleatória resultou em ruído.
  • Rank Efetivo: O GTI manteve um rank efetivo mais alto e um decaimento espectral mais lento, indicando que o espaço de embeddings permanece rico e diferenciado após o treinamento.

5. Significado e Impacto

O trabalho identifica a inicialização de tokens como um gargalo crítico na extensão de vocabulários de LMs.

• Mudança de Paradigma: Sugere que a qualidade da inicialização é tão importante quanto a arquitetura ou o processo de ajuste fino.
• Eficiência: O método GTI é leve, não requer mudanças na arquitetura do modelo e não depende de tarefas auxiliares complexas que podem causar desalinhamento de objetivos.
• Generalidade: Embora testado em recomendação, a metodologia é aplicável a qualquer cenário onde novos tokens (símbolos, IDs, conceitos) devem ser integrados a um LM pré-treinado, oferecendo um caminho para melhorar a transferência de conhecimento em domínios especializados.

Em resumo, o artigo prova que "fundamentar" novos tokens no espaço semântico existente antes de começar o treinamento da tarefa final é essencial para evitar o colapso dimensional e maximizar a performance de modelos generativos em tarefas de recuperação.