Resumo Técnico: Colapso de Preferência de Grupo em Modelos de Linguagem Multimodais Grandes Personalizados

1. Definição do Problema: Colapso de Preferência de Grupo

O artigo identifica um modo de falha crítico em modelos de linguagem multimodais (MLLMs) personalizados para múltiplos usuários, denominado Colapso de Preferência de Grupo. Embora os MLLMs personalizados existentes visem gerar respostas específicas para o usuário, eles atualmente dependem fortemente de informações de perfil estáveis (ex: demografia, retratos) e frequentemente negligenciam preferências de usuários diversas e dependentes de contexto.

Quando treinados em múltiplos usuários com distribuições de preferência desequilibradas, esses modelos exibem duas falhas principais:

1. Representação Suprimida: Durante o aprendimento da representação do usuário, preferências individuais esparsas e de baixa frequência são absorvidas por padrões dominantes ao nível da população.
2. Geração Não Confiável: Durante a inferência, mesmo quando a informação de preferência é fornecida como uma condição, o modelo falha em selecionar a pista de preferência relevante para o par imagem-pergunta específico. Em vez disso, ele retorna ao padrão de raciocínio genérico ou dominante da população.

Consequentemente, o modelo deriva para escolhas plausíveis em nível de grupo (ex: prever "Yoga" para todos os usuários, independentemente da preferência individual) em vez de refletir escolhas refinadas e específicas do usuário.

2. Metodologia: PrefMoE

Para enfrentar essas falhas, os autores propõem o PrefMoE, um framework centrado em preferências projetado para separar informações de perfil estáveis de representações relacionadas a preferências e garantir seu uso eficaz durante a geração. O método consiste em três componentes principais:

A. Representação de Usuário Fatorizada

O PrefMoE decompõe a informação do usuário em fatores distintos, em vez de comprimi-los em um único embedding:

• Fatores de Perfil: Aprendidos a partir de dados estáveis do usuário (imagens e descrições textuais) usando aprendizagem contrastiva para alinhar modalidades e separar usuários.
• Fatores de Preferência: Representados como uma decomposição de protótipos compartilhados (tendências populacionais) e resíduos personalizados (desvios específicos do usuário).
  • Fórmula: $z^{pref}_{i,f} = \bar{z}_f + \Delta_{i,f}$, onde $\bar{z}_f$ é o protótipo compartilhado para a faceta $f$, e $\Delta_{i,f}$ é o resíduo específico do usuário.

B. Aprendizado de Preferência Baseado em Resíduos

Para evitar que as preferências minoritárias sejam absorvidas pelos padrões compartilhados, o framework aplica três estratégias de regularização aos resíduos personalizados ($\Delta_{i,f}$):

1. Contraste de Resíduo Consciente de Desequilíbrio: Uma perda contrastiva que aproxima usuários com a mesma preferência de nível de faceta sob um contexto visual-pergunta específico. Ela utiliza um mecanismo de reponderação (inspirado na focal loss) para atribuir pesos maiores a grupos de preferência de baixa frequência, garantindo que recebam supervisão suficiente.
2. Aumento de Pseudo-Usuário Contrafactual: Para quebrar correlações espúrias entre grupos de usuários e preferências dominantes, o método constrói "pseudo-usuários" recombinando entradas de preferência de diferentes usuários reais através das facetas. Esses pseudo-usuários são usados no objetivo contrastivo para encorajar os resíduos a se alinharem com a semântica da preferência, em vez da identidade original do grupo de usuários.
3. Descorrelação de Resíduo de Preferência: Restrições suaves são impostas para garantir que os resíduos entre diferentes facetas não sejam redundantes e que os resíduos capturem desvios além do protótipo compartilhado, prevenindo o emaranhamento.

C. Roteamento MoE Hierárquico Fatorizado

Para garantir que esses fatores aprendidos sejam utilizados durante a geração, o PrefMoE introduz um roteador de Mistura de Especialistas (MoE) hierárquico baseado em LoRA (Low-Rank Adaptation):

• Especialistas Separados: Fatores de perfil (imagem e descrição) e fatores de preferência (específicos por faceta) são roteados para especialistas LoRA distintos.
• Roteamento Dependente de Query:
  • Um Roteador de Preferência seleciona as facetas de preferência relevantes com base na consulta atual.
  • Um Roteador de Perfil seleciona a fonte de perfil mais útil (imagem vs. descrição).
  • Um Roteador de Ramificação funde adaptativamente as atualizações conscientes de perfil e de preferência com base na representação da consulta.
    Esta estrutura garante que o modelo selecione dinamicamente os fatores de usuário apropriados para a questão visual específica, em vez de depender de uma única condição mista.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Identificação do Modo de Falha: Define formalmente o "colapso de preferência de grupo" como um problema crítico onde as preferências dominantes da população suprimem os sinais individuais, mesmo quando a informação do usuário está explicitamente disponível.
2. Framework PrefMoE: Propõe um novo framework que combina o aprendizado de fator de preferência baseado em resíduos com o roteamento hierárquico fatorizado. Esta abordagem preserva os desvios de preferência individualizados e ativa caminhos de adaptação conscientes de perfil e de preferência de forma dinâmica.
3. Validação Empírica: Experimentos extensos em múltiplos backbones de MLLM (LLaVA, DeepSeek-VL, Qwen) demonstram que o PrefMoE melhora consistentemente a personalização sensível à preferência e reduz significativamente o colapso de preferência em comparação com o ajuste fino completo (full fine-tuning) e outros baselines de personalização.

4. Resultados Experimentais

Os experimentos foram conduzidos no MMPB-Clean, uma divisão curada do benchmark MMPB contendo consultas multimodais sobre 50 usuários e seis facetas de preferência (entretenimento, viagem, estilo de vida, compras, moda).

• Ganhos de Desempenho: No backbone LLaVA-1.5-7B, o PrefMoE melhorou a precisão da preferência de 44,13% (Ajuste Fino Completo) para 67,33% e reduziu a taxa de colapso de preferência de 34,25% para 12,33%.
• Escalabilidade: O método alcançou a melhor precisão geral e as menores taxas de colapso em vários escalonamentos de modelo, incluindo o LLaVA-OV-72B (atingindo 78,93% de precisão de preferência e 10,96% de colapso).
• Estudos de Ablação:
  • A remoção do roteador MoE hierárquico resultou em quedas significativas de desempenho, confirmando a necessidade de caminhos de computação fatorizados.
  • O contraste consciente de desequilíbrio e o aumento contrafactual foram cruciais para reduzir o colapso e melhorar a precisão em preferências de baixa frequência.
  • O método permaneceu robusto mesmo sem rótulos de faceta explícitos, sugerindo que aprende relações de preferência estruturadas a partir das descrições subjacentes.
• Análise Qualitativa: Visualizações (t-SNE) mostraram que o PrefMoE mantém fronteiras mais claras entre populações de preferência e facetas em comparação com o ajuste fino padrão, que tende a misturá-las. Estudos de caso demonstraram que o PrefMoE consegue fundamentar respostas em preferências específicas de usuários (ex: moda boêmia, viagem solo) onde os baselines retornavam a escolhas genéricas ou dominantes.

5. Significância e Limitações

O artigo argumenta que a raciocínio personalizado eficaz requer mais do que apenas escalar modelos ou ajuste fino padrão; exige uma adaptação fatorizada que separe e preserve explicitamente os sinais de preferência específicos do usuário. O PrefMoE demonstra que, ao desacoplar perfis estáveis de preferências dinâmicas e roteá-los através de caminhos de adaptação especializados, os modelos podem refletir melhor as escolhas individuais dos usuários.

Alegações Modestas e Limitações:
Os autores reconhecem que, embora o PrefMoE mitigue significativamente o colapso de preferência, ele ainda depende de descrições de preferência explícitas e bem especificadas. O método pode ter dificuldades quando:

• As preferências do usuário são subespecificadas.
• As preferências estão fracamente fundamentadas na cena visual.
• A pergunta não indica claramente a faceta de preferência relevante.

O trabalho não pretende resolver todos os desafios de personalização, mas oferece uma abordagem estruturada para abordar o modo de falha específico do colapso de preferência de grupo em ambientes de múltiplos usuários.