SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

Resumo Técnico: SocialFusion: Abordando a Degradação Social em Modelos de Visão-Linguagem Pré-treinados

Problema
Embora os Modelos de Visão-Linguagem (VLMs) pré-treinados em larga escala demonstrem capacidades gerais notáveis, eles falham em unificar múltiplas tarefas de compreensão de interação social visual simultaneamente. Em vez de aproveitar as sinergias entre as tarefas, os VLMs existentes exibem uma "transferência negativa", onde o treinamento conjunto em diversas tarefas sociais degrada o desempenho em comparação ao treinamento de tarefa única. Os autores hipotetizam que essa falha decorre de um fenômeno que denominam "degradação social". Eles postulam que o processo padrão de pré-treinamento visual-linguístico dos VLMs prejudica a capacidade do codificador visual de representar informações sociais sutis, tornando as características codificadas menos decodificáveis e menos compatíveis para tarefas de percepção social.

Metodologia
O artigo propõe o SocialFusion, um framework unificado projetado para contornar a degradação social através do aprendizado de uma conexão mínima entre um codificador visual congelado e um modelo de linguagem, em vez de depender das representações degradadas dos VLMs padrão.

• Arquitetura:
  • Codificador Visual: O SocialFusion utiliza um modelo de fundação pré-treinado (especificamente o CLIP nos experimentos primários) que não passou pelo pipeline típico de pré-treinamento de VLM. Os pesos do codificador visual são congelados para preservar a qualidade das representações visuais originais.
  • Conector: Um MLP leve de três camadas projeta os mapas de características visuais para o espaço de embedding do Modelo de Linguagem de Grande Escala (LLM).
  • Modelo de Linguagem: O LLM (Llama 3.2 1B) é congelado, com apenas um adaptador de Adaptação de Baixo Posto (LoRA) aplicado às suas camadas lineares para permitir o aprendizado específico da tarefa.
  • Entradas e Saídas: O modelo aceita imagens e caixas delimitadoras opcionais (convertidas em embeddings de posição aprendidos). Para tarefas de classificação (gesto, expressão, relacionamento, direção do olhar), ele gera tokens de texto. Para estimativa de alvo de olhar, ele projeta as características visuais finais em um mapa de calor 2D via projeção linear e convolução transposta.
• Objetivo de Treinamento: O modelo é treinado conjuntamente em cinco tarefas sociais distintas usando uma função de perda combinada: perda de entropia cruzada para tarefas baseadas em texto e entropia cruzada binária por pixel para a previsão do mapa de calor de olhar.
• Investigação da Degradação Social: Para validar a hipótese, os autores conduziram experimentos controlados comparando codificadores visuais antes e depois do pré-treinamento de VLM. Eles analisaram dois mecanismos:
  1. Decodificabilidade: Usando sondagem de representação linear para medir quão bem as características sociais podem ser linearmente separadas após o pré-treinamento.
  2. Compatibilidade: Usando análise de conflito de gradiente (Grau de Conflito de Gradiente) para medir o alinhamento dos gradientes das tarefas durante o treinamento conjunto.

Principais Contribuições

1. Identificação da Degradação Social: O artigo identifica e demonstra empiricamente que o pré-treinamento de VLM degrada as representações dos codificadores visuais especificamente para tarefas de interação social. Experimentos controlados mostram que os codificadores apresentam desempenho inferior em tarefas sociais após passarem pelo pré-treinamento visual-linguístico em comparação com seus equivalentes de pré-treinamento.
2. Análise de Mecanismo: Através de sondagem linear e análise de conflito de gradiente, os autores revelam que o principal motor da degradação social é a redução da decodificabilidade linear das características visuais, com o conflito de gradiente desempenhando um papel secundário e menos significativo.
3. Framework SocialFusion: A proposta de uma arquitetura de fusão mínima que congela o codificador visual e aprende uma conexão leve com um LLM. Esta abordagem evita a degradação inerente aos VLMs padrão.
4. Transferência Positiva Unificada: O SocialFusion é o primeiro modelo a alcançar transferência positiva em todas as cinco tarefas sociais visuais testadas (Análise de Gesto, Olhar/Atenção, Expressão Facial, Dinâmica de Conversação e Análise de Situação Social) quando treinado conjuntamente.

Resultados

• Comparação com Baselines: Ao serem testados em populares VLMs de código aberto (Qwen2-VL, Sail-VL 1.5 e MolmoE) usando ajuste fino de LoRA, esses modelos exibiram uma nítida transferência negativa em cenários de treinamento conjunto, muitas vezes performando pior do que o treinamento de tarefa única.
• Desempenho do SocialFusion:
  • O SocialFusion alcançou transferência positiva em todas as 10 métricas testadas (duas por tarefa) no treinamento conjunto.
  • Estabeleceu novos resultados de Estado da Arte (SOTA) no benchmark de reconhecimento de gestos HaGRIDv2 (99.8 mAP) e no benchmark de análise de situação social PISC (94.2 mAP para Domínio, 88.5 mAP para Relação).
  • Permaneceu competitivo no GazeFollow, LAM (Looking at Me) e AffectNet, embora não tenha superado o SOTA no AffectNet ou GazeFollow (onde abordagens especializadas baseadas em DINOv2 ainda mantêm vantagem).
• Análise de Sinergia: Experimentos de treinamento par a par indicaram que, embora alguns pares de tarefas mostrassem sinergia, o efeito de transferência positiva total foi mais pronunciado ao treinar em todas as diversas tarefas simultaneamente, sugerindo que o modelo aprende "competências sociais atômicas" generalizáveis.

Significância e Alegações
O artigo afirma que as estratégias atuais de pré-treinamento de VLM, embora eficazes para a compreensão multimodal geral, podem ser prejudiciais à aquisição de competência social geral. Os achados sugerem que as representações visuais aprendidas durante o pré-treinamento em larga escala não preservam as pistas visuais específicas necessárias para a percepção social.

A significância do SocialFusion reside em demonstrar que a transferência positiva em domínios sociais complexos e multifacetados é alcançável não construindo modelos maiores ou mais complexos, mas sim evitando a degradação de representação causada pelos pipelines de pré-treinamento padrão. Os autores argumentam que isso destaca uma necessidade crítica de paradigmas de treinamento socialmente conscientes no desenvolvimento futuro de VLMs, sugerindo que domínios especializados como a interação social podem exigir estratégias de pré-treinamento ou ajuste fino distintas para preservar pistas visuais finas. O trabalho serve como base para construir sistemas de IA socialmente competentes e unificados, capazes de raciocinar sobre interações humanas em cenários do mundo real.