Resumo Técnico: SocialPersona

Definição do Problema

Os benchmarks atuais para assistentes de linguagem personalizados avaliam predominantemente a capacidade de um modelo em recordar preferências explicitamente declaradas dentro de históricos de diálogo. Esta "lente de memória" falha em capturar a capacidade mais complexa e do mundo real exigida de assistentes personalizados: inferir interesses implícitos do usuário a partir dos rastros multimodais e longitudinais que os usuários naturalmente deixam nas redes sociais. Na prática, as preferências são reveladas indiretamente através do que os usuários criam, compartilham, fotografam e com o que se engajam repetidamente. Recuperar essas "preferências reveladas" apresenta um desafio significativo para os Modelos de Linguagem de Grande Escala Multimodais (MLLMs), pois exige a agregação de evidências esparsas, ruidosas e não estruturadas através de texto, imagens e carimbos de tempo (timestamps) ao longo de longos horizontes temporais, além de distinguir entre interesses estáveis e recorrentes e fixações recentes e emergentes.

Metodologia: O Benchmark SOCIALPERSONA

Para abordar essa lacuna, os autores introduzem o SOCIALPERSONA, um benchmark projetado para avaliar MLLMs na inferência de perfis de usuários a partir de linhas do tempo multimodais de redes sociais e na utilização desses perfis em diálogos.

Construção dos Dados

• Fonte: O benchmark é construído a partir das linhas do tempo reais e longitudinais de 171 usuários comuns e não promocionais de redes sociais. Ele exclui celebridades, contas de marcas e perfis altamente curados para garantir rastros de preferência naturais e de autoexpressão.
• Escala: O conjunto de dados compreende uma média de 176,81 postagens e 130,38 imagens por usuário, abrangendo até dois anos.
• Conteúdo: Cada postagem inclui texto, conteúdo visual (imagens/frames de vídeo) e carimbos de tempo. Todo o texto é padronizado para o inglês.
• Perfis de Referência (Gold Profiles): Um pipeline semiautomático seguido de rigorosa verificação humana (350 horas de anotadores) gerou 2.597 tags de preferência. Essas tags estão fundamentadas em evidências textuais, visuais e temporais em sete domínios de interesse:
  1. Esportes e atividades ao ar livre
  2. Entretenimento
  3. Jogos (Gaming)
  4. Comida e bebida
  5. Viagens e exploração urbana
  6. Fotografia e criação
  7. Animais de estimação
• Granularidade Temporal: Os perfis separam explicitamente interesses estáveis (padrões recorrentes ao longo da linha do tempo) de interesses recentes (sinais concentrados nos últimos 90 dias).

Tarefas de Avaliação

O SOCIALPERSONA avalia MLLMs em duas tarefas principais:

1. Construção de Perfil: Os modelos devem inferir domínios de interesse ativos e tags de interesse detalhadas (distinguindo entre estável vs. recente) diretamente de linhas do tempo multimodais brutas.
2. Geração de Diálogo Personalizado: Os modelos recebem o contexto de rede social de um usuário (seja a linha do tempo bruta ou um perfil construído) e uma solicitação natural do usuário. Eles são avaliados sobre se suas respostas se alinham aos interesses estáveis ou recentes do usuário.

A avaliação utiliza tanto MLLMs proprietários (ex: GPT-4o-mini, GPT-5.4, Gemini-2.5-Flash) quanto de pesos abertos (ex: série Qwen). A qualidade do diálogo é julgada com base na cobertura de interesses, concretude e fluência.

Principais Contribuições

1. Formulação da Tarefa: Uma nova formulação que desafia MLLMs a inferir preferências a partir de comportamentos multimodais longitudinais e aplicar estas em diálogos subsequentes, indo além da simples recuperação de memória.
2. Lançamento do Benchmark: A construção e o lançamento público do SOCIALPERSONA, apresentando dados de usuários reais, linhas do tempo de longo horizonte, evidências multimodais e perfis validados por humanos em sete domínios.
3. Análise Empírica: Uma avaliação abrangente que revela lacunas específicas de capacidade nos MLLMs atuais em relação à agregação de evidências cross-modais e raciocínio temporal.

Principais Resultados e Descobertas

Experimentos em vários modelos e configurações (Direta, Hierárquica e Extrativa-Abstrativa) revelam três limitações centrais nos MLLMs atuais:

1. Supergeneralização Sistemática: O modo de falha dominante é o colapso de interesses específicos e detalhados em categorias amplas e genéricas. Por exemplo, os modelos frequentemente reduzem 4 a 7 tags de referência específicas (ex: "comer fora", "bolo de aniversário", "confeitaria") para apenas 1 ou 2 rótulos amplos (ex: "restaurantes", "doces"). Essa lacuna persiste mesmo quando os prompts de avaliação são ajustados para serem menos conservadores, indicando uma limitação genuína do modelo na elicitação de preferências detalhadas.
2. Assimetria de Modalidade: Os modelos exibem um forte viés para evidências visuais. Domínios com sinais visualmente concentrados (ex: animais de estimação, capturas de tela de jogos) são detectados com alta precisão. Por outro lado, domínios que dependem de evidências textuais dispersas (ex: hábitos de viagem, comida/bebida) são frequentemente perdidos ou marcados incorretamente como inativos. Esse viés se propaga para o diálogo, onde os modelos priorizam interesses visualmente dominantes sobre aqueles suportados por texto.
3. Déficits de Raciocínio Temporal: Os modelos têm dificuldade em distinguir entre interesses estáveis e recentes. Eles tendem a atribuir quase todas as tags previstas ao balde "estável", independentemente da distribuição temporal das evidências. Mesmo modelos com alto desempenho geral falham em computar padrões de dispersão temporal, tratando as linhas do tempo como sequências achatadas em vez de evidências ordenadas no tempo.

Correlação Perfil-Diálogo: O estudo confirma uma correlação positiva entre a qualidade do perfil (F1 de Interesse) e a qualidade do diálogo. No entanto, como os modelos atuais geram perfis esparsos ou supergeneralizados, esses erros se acumulam a jusante, levando a uma redução na cobertura e na concretude das respostas personalizadas.

Significância

O artigo postula que a modelagem de usuário robusta, cross-modal e de longo horizonte continua sendo um desafio não resolvido para assistentes personalizados. O SOCIALPERSONA serve como uma ferramenta crítica para medir o progresso nesta área. Os resultados indicam que, embora os modelos atuais consigam identificar domínios de interesse amplos, eles carecem de nuance para recuperar preferências reveladas a partir de traços multimodais ruidosos e aplicá-las efetivamente em diálogos. O benchmark destaca que os avanços futuros devem abordar a recuperação de interesses detalhados, o equilíbrio de modalidades e o raciocínio temporal para ir além da simples personalização baseada em memória em direção a assistentes verdadeiramente orientados por insights.