Resumo Técnico: OmniSapiens: Um Modelo de Fundação para Processamento de Comportamento Social via Otimização de Política Relativa Consciente de Heterogeneidade

1. Definição do Problema

Sistemas de IA socialmente inteligentes requerem a capacidade de raciocinar através de diversas tarefas comportamentais humanas e generalizar para novos contextos sociais. No entanto, os sistemas de IA existentes são predominantemente especializados em tarefas comportamentais únicas (ex: análise de sentimento ou reconhecimento de emoção), carecendo de modelos unificados que possam generalizar efetivamente através de diversos contextos comportamentais.

O desafio primário no desenvolvimento de modelos de comportamento social unificados é a heterogeneidade inerente dos dados comportamentais. Esses dados abrangem tipos de características distintas (ex: prosódia acústica, interação interpessoal, texto, visão) e alvos de predição (ex: classificação de emoção, inferência social, detecção de estado patológico). Essa heterogeneidade produz sinais de treinamento desiguais entre as amostras, levando a dinâmicas de aprendizado desbalanceadas.

Modelos unificados atuais frequentemente empregam métodos de Aprendizado por Reforço (RL) como a Otimização de Política Relativa de Grupo (GRPO) para aprimorar o raciocínio. No entanto, esses métodos agregam atualizações de política através de amostras heterogêneas sem regular explicitamente as disparidades em suas dinâmicas de aprendizado. Consequentemente, a otimização pode tornar-se desproporcionalmente dominada por tarefas comportamentais específicas ou amostras com magnitudes de vantagem sistematicamente elevadas, dificultando o desempenho multitarefa e a generalização entre contextos.

2. Metodologia

2.1 Arquitetura do Modelo: OmniSapiens-7B 2.0

Os autores introduzem o OMNISAPIENS-7B 2.0, um modelo de fundação para análise unificada de comportamento social.

• Backbone: O modelo utiliza o Qwen 2.5 Omni-7B como sua arquitetura base multimodal, capaz de processar entradas de texto, visão e áudio.
• Configuração de Treinamento: É treinado no benchmark Human Behavior Atlas, cobrindo mais de 100.000 amostras em 10 diversas tarefas comportamentais: Sentimento (SEN), Reconhecimento de Emoção (EMO), Raciocínio Social (SOC), Reconhecimento de Intenção (INT), Comunicação Não-Verbal (NVC), Humor (HUM), Sarcasmo (SAR), Ansiedade (ANX), Depressão (DEP) e PTSD (PTSD).
• Objetivo: Uma única política compartilhada $\pi_\theta$ é treinada para maximizar o desempenho em todas as tarefas simultaneamente.

2.2 Algoritmo Central: Otimização de Política Relativa Consciente de Heterogeneidade (HARPO)

Para abordar o desequilíbrio nos sinais de aprendizado, o artigo propõe o HARPO, um método de RL on-policy livre de crítico. O HARPO modifica o objetivo padrão do GRPO ao rebalancear dinamicamente os sinais de aprendizado através de amostras e tarefas heterogêneas.

Mecanismos Chave do HARPO:

1. Aproximação do Sinal de Contribuição:
   Como os gradientes de política são escalonados por valores de vantagem, a magnitude das vantagens serve como um proxy para a contribuição de uma amostra para a atualização da política. O HARPO computa sinais de contribuição em dois níveis:

   • Nível de Amostra ($p^{(t)}_{(m,q)}$): A média do valor absoluto da vantagem normalizada pelo grupo para uma amostra específica $q$ dentro da tarefa $m$.
   • Nível de Tarefa ($p^{(t)}_m$): A média do valor absoluto da vantagem normalizada pelo grupo através de todas as amostras para a tarefa $m$.

2. Modulação Centrada Geometricamente:
   Para evitar que qualquer tarefa ou amostra influencie desproporcionalmente a atualização, o HARPO escala as vantagens com base em seu desvio de uma referência de média geométrica.

   • Uma referência de média geométrica ($\bar{p}^{(t)}_{ref,m}$ para amostras, $\bar{p}^{(t)}_{ref,M}$ para tarefas) é calculada.
   • Fatores de modulação ($s^{(t)}_{(m,q)}$ e $s^{(t)}_m$) são derivados como o recíproco da razão entre o sinal de contribuição e a média geométrica.
   • Efeito: Amostras ou tarefas com sinais de contribuição acima da referência recebem fatores $<1$ (redução de escala), enquanto aquelas abaixo recebem fatores $>1$ (aumento de escala).
   • Estabilidade: Como os fatores são construídos a partir de uma média geométrica, sua média geométrica é exatamente 1. Isso garante que o aumento de escala multiplicativo seja exatamente compensado pela redução de escala, evitando mudanças indesejadas no tamanho do passo global.

3. Suavização de Inércia:
   Para garantir estabilidade e responder a tendências persistentes em vez de flutuações estocásticas on-policy, os sinais de contribuição e os fatores de modulação são atualizados usando controle de inércia:

   • Os sinais de contribuição utilizam uma Média Móvel Exponencial (EMA).
   • Os fatores de modulação (sendo razões multiplicativas) são suavizados via atualizações multiplicativas.

Função Objetivo:
O HARPO retém o objetivo de região de confiança estilo PPO do GRPO, mas substitui a vantagem padrão normalizada pelo grupo $\hat{A}$ pela vantagem modulada pelo HARPO $A^H$:
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 Design de Recompensa

O modelo é treinado com uma função de recompensa composta $r$:
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: Recompensa binária para correspondência exata de rótulo (classificação) ou similaridade de cosseno para QA de texto livre.
• $r_{fmt}$: Recompensa binária para aderir à estrutura de saída exigida (traço de raciocínio seguido pela predição).
• $r_{len}$: Penalidade para comprimento excessivo de resposta.

3. Principais Contribuições

1. OmniSapiens-7B 2.0: O lançamento de um modelo de fundação unificado capaz de enfrentar conjuntamente uma ampla gama de tarefas de análise de comportamento, abrangendo dimensões afetivas, cognitivas, patológicas e sociais.
2. HARPO: A introdução de um novo método de RL projetado especificamente para aprender de dados comportamentais heterogêneos ao rebalancear sinais de aprendizado sem uma rede crítica.
3. Interpretabilidade: O modelo produz traços de raciocínio mais interpretáveis, melhorando a transparência e a confiabilidade para aplicações do mundo real.

4. Resultados Experimentais

4.1 Desempenho Multitarefa

Avaliado através de 10 tarefas comportamentais, o OmniSapiens-7B 2.0 alcançou o desempenho mais alto e consistente em comparação com:

• LLMs de propósito geral: (ex: Gemma-4, Qwen-2.5-Omni).
• Modelos Comportamentais Especializados: (ex: HumanOmniV2, variantes anteriores do OmniSapiens).
• Algoritmos de RL: Superou o GRPO, RLOO, RE++, GPG e EMAGRPO.

Métricas Chave:

• Alcançou o ranking médio de desempenho de tarefa mais alto (1.90) entre todos os modelos.
• Melhorou o desempenho em até +12.02% em relação aos modelos estado da arte anteriores.
• Demonstrou robustez onde outros métodos (como o GRPO) mostraram colapso de desempenho em tarefas específicas (ex: detecção de Sarcasmo).

4.2 Generalização Zero-Shot

O modelo foi avaliado em cinco benchmarks comportamentais não utilizados no treinamento (Detecção de Autismo, Reconhecimento de Emoção na Fala, Reconhecimento de Depressão em ambiente real, Sentimento em Redes Sociais, Incongruência de Sarcasmo) sem ajuste fino.

• OmniSapiens-7B 2.0 superou todos os baselines em todas as cinco tarefas mantidas fora do treino.
• Os ganhos chegaram a até +9.37% comparado aos modelos anteriores.
• Isso sugere que o modelo aprende características comportamentais transferíveis que generalizam além da distribuição de treinamento.

4.3 Interpretabilidade do Traço de Raciocínio

O artigo avalia a qualidade dos traços de raciocínio usando desiderata de XAI:

• Robustez: Alcançou a maior consistência (87.7%) entre amostras independentes e variações de paráfrase (88.4%).
• Eficiência: Gerou traços de raciocínio significativamente mais concisos (19.86 tokens) comparado aos baselines (ex: 57.69 tokens para OmniSapiens-7B RL).
• Avaliação Humana: Em comparações pareadas, o OmniSapiens-7B 2.0 foi preferido ou empatou com os baselines em 99.2% dos casos para concisão, 88.3% para coerência e 78.9% para especificidade.

4.4 Estudos de Ablação

• Modulação Estruturada: Remover a referência geométrica (usando escalonamento de recíproco simples) degradou o desempenho (Ranking Médio 2.00 vs 1.90), confirmando a necessidade de centramento geométrico para evitar a distorção do tamanho do passo global.
• Controle de Inércia: Remover a suavização de inércia degradou significativamente o desempenho (Ranking Médio 2.70), particularmente para tarefas com sinais de contribuição flutuantes (ex: Sarcasmo, Sentimento).
• Modulação de Nível de Amostra: Remover a modulação de nível de amostra (apenas nível de tarefa) degradou o desempenho (Ranking Médio 2.60), indicando a necessidade de balancear sinais no nível da amostra individual para suprimir valores de vantagem extremos.

5. Significância e Alegações

O artigo afirma que o OmniSapiens-7B 2.0 representa um passo significativo em direção à análise unificada do comportamento social. Ao modelar explicitamente a heterogeneidade dos sinais de aprendizado através do HARPO, o modelo supera as limitações das abordagens unificadas existentes que são limitadas por dinâmicas de aprendizado desbalanceadas.

Os autores afirmam que seu trabalho:

• Desbloqueia potenciais aplicações em computação afetiva, saúde comportamental e sistemas de IA socialmente inteligentes, particularmente em cenários onde os dados comportamentais são escassos e a interpretabilidade do modelo é crítica.
• Demonstra que proteger sinais mais fracos e estruturalmente significativos (via HARPO) permite que modelos de fundação codifiquem estruturas sociais e comportamentais latentes de forma mais eficaz.
• Fornece um framework confiável para aplicações comportamentais do mundo real ao gerar traços de raciocínio que não são apenas precisos, mas também robustos, eficientes e interpretáveis.

O trabalho sugere que futuros modelos de fundação de comportamento social podem se beneficiar ao abordar explicitamente a heterogeneidade dos sinais de aprendizado, em vez de tratar todas as tarefas e amostras uniformemente.