Resumo Técnico: Omni-Persona

Declaração do Problema

Embora os modelos de linguagem de grande escala multimodais (MLLMs) tenham avançado significativamente no processamento de texto, imagem e áudio, a pesquisa sobre personalização omnimodal permanece fragmentada. As abordagens existentes são predominantemente limitadas a configurações de visão-linguagem, negligenciando o áudio como uma modalidade primária de persona. Além disso, os protocolos de avaliação atuais sofrem de três lacunas críticas:

1. Falta de Cobertura Unificada: Os benchmarks raramente integram texto, imagem e áudio simultaneamente, tratando o áudio frequentemente como secundário ou excluindo-o inteiramente.
2. Configurações de Avaliação Idealizadas: A maioria dos benchmarks assume que a persona alvo está sempre presente no contexto recuperado (apenas respondível), falhando em considerar o ruído de recuperação do mundo real, onde a identidade consultada pode estar ausente. Isso leva a uma falha na detecção de "alucinação" (responder quando a persona está ausente) ou "abstenção excessiva" (deixar de responder quando a persona está presente).
3. Insuficiência de Rigor Diagnóstico: As métricas de recall padrão confundem a capacidade de fundamentação com a disposição do modelo em responder, obscurecendo falhas de calibração. Há uma falta de estudo sistemático sobre como os regimes de pós-treinamento (Ajuste Fino Supervisionado vs. Aprendizado por Reforço) afetam a fundamentação e a calibração omnimodais.

Metodologia: Benchmark Omni-Persona

Os autores introduzem o Omni-Persona, o primeiro benchmark abrangente, exclusivamente de avaliação, para personalização omnimodal. A metodologia é construída sobre os seguintes componentes:

1. Formalização: Grafo de Modalidade de Persona (PMG)

A tarefa é formalizada como um problema de roteamento cross-modal sobre um Grafo de Modalidade de Persona ($G = (V, E)$).

• Nós: Representam uma consulta ($Q$) e nós de contexto recuperados ($C_1, \dots, C_K$). Cada nó contém um trio de modalidades: visual ($v$), áudio ($a$) e textual ($t$).
• Tarefa: O modelo deve identificar o nó de contexto relevante $C_j$ correspondente à pista da consulta e fundamentar sua resposta no texto $t_j$ associado. Se a persona alvo estiver ausente de todos os contextos, o modelo deve se abster.
• Contexto Bruto: Diferente de trabalhos anteriores que comprimem sinais multimodais em texto, o Omni-Persona utiliza contextos de forma bruta (imagens originais e clipes de áudio) para preservar pistas de identidade de granularidade fina (ex: timbre vocal, geometria facial) que são difíceis de verbalizar.

2. Design do Benchmark

• Escala: Aproximadamente 750 itens de avaliação abrangendo 4 grupos de tarefas e 18 tarefas granulares.
• Grupos de Tarefas:
  1. I2I (Imagem-para-Imagem): Reconhecimento de identidade visual.
  2. A2A (Áudio-para-Áudio): Reconhecimento de identidade de voz.
  3. T2T (Texto-para-Texto): Recuperação semântica de mesma modalidade.
  4. T2Any (Texto-para-Qualquer): Fundamentação semântica cross-modal (ex: consulta de texto para contexto de áudio/imagem).
• Avaliação de Persona Ausente: Aproximadamente 50% das amostras são "no-GT" (ground-truth ausente), exigindo que o modelo realize uma abstenção estruturada em vez de alucinar uma resposta. Distratores difíceis (identidades visual ou vocalmente semelhantes) são incluídos para simular ruído de recuperação.

3. Métricas de Avaliação

Para abordar as limitações das métricas baseadas apenas em recall, os autores propõem a Acurácia Calibrada (Cal):
$$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$$
Onde:

• $Ans$: Recall de Resposta (corretude em itens respondíveis).
• $Unans$: Recall de Não-Resposta (abstenção correta em itens de persona ausente).
• Métricas Anti-Alucinação: $1-FA$ (taxa de Abstenção Falsa em itens respondíveis) e $TA$ (taxa de Abstenção Verdadeira em itens não respondíveis) são usadas para diagnosticar modos de falha específicos (abstenção excessiva vs. alucinação).

4. Análise de Pós-Treinamento

O artigo investiga dois regimes de pós-treinamento em backbones de código aberto (Qwen2.5-Omni, Gemma4):

• Ajuste Fino Supervisionado (SFT): Treinado em conjuntos de dados de 1K e 10K de anotações de ground-truth curadas.
• Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Treinado sem warm-up de SFT usando três componentes de recompensa verificáveis:
  1. Percepção: Correspondência binária baseada em regras (sim/não) para identidade visual/auditiva.
  2. Localização: Seleção baseada em regras do índice de contexto correto.
  3. Recuperação: Verificação de respostas fundamentadas ou abstenção correta via LLM-as-a-Judge.

Principais Resultados

Experimentos foram conduzidos em modelos de código fechado (família Gemini-3) e de código aberto (Qwen, Gemma, MiniCPM, Phi, Interactive-Omni).

1. Lacuna de Fundamentação Áudio-Visual: Modelos de código aberto exibem uma lacuna significativa de desempenho entre a fundamentação visual (I2I) e a de áudio (A2A), com o recall de áudio ficando atrás por 5 a 35 pontos percentuais. Embora o RLVR melhore o recall de áudio, ele não fecha totalmente a lacuna nem resolve problemas de calibração.
2. Recall e Escala são Diagnósticos Incompletos: Modelos maiores (ex: Qwen3-30B) não alcançam necessariamente scores de Cal mais altos do que variantes menores (ex: Qwen2.5-3B). Um alto recall frequentemente coexiste com um baixo TA (Abstenção Verdadeira), indicando que o escalonamento sozinho não resolve a alucinação em cenários de persona ausente.
3. Limitações do SFT: Escalar os dados de SFT de 1K para 10K amostras falhou em melhorar consistentemente os scores de Cal e, às vezes, degradou o desempenho. Isso sugere que construir supervisão de ground-truth de alta qualidade e in-domain para cenários abertos e diversos é um gargalo que o SFT não consegue superar facilmente.
4. Trade-offs do RLVR: O RLVR melhorou significativamente o Answerable Recall (até +9,2% no Qwen-7B) ao otimizar diretamente a correspondência perceptiva e a recuperação fundamentada. No entanto, induziu um forte viés de resposta (answer-bias): os modelos tornaram-se menos propensos a se abster, causando uma queda significativa no TA (ex: -15,4% no Qwen-7B). Consequentemente, a Acurácia Calibrada (Cal) para modelos treinados com RLVR permaneceu no mesmo nível ou abaixo dos modelos base, revelando um trade-off entre recall e calibração.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Benchmark Omni-Persona: O primeiro benchmark abrangente para personalização omnimodal que unifica as modalidades de texto, imagem e áudio e trata casos de persona ausente como uma dimensão central de avaliação via Grafo de Modalidade de Persona.
2. Métrica de Acurácia Calibrada: Um novo framework de avaliação que avalia conjuntamente a correção da fundamentação e a abstenção apropriada, expondo modos de falha (alucinação e abstenção excessiva) mascarados por protocolos tradicionais baseados apenas em recall.
3. Insights Diagnósticos: O estudo fornece um mapa diagnóstico específico do modelo revelando:
   • Uma assimetria consistente de fundamentação visual sobre áudio em modelos de código aberto.
   • A insuficiência de recall e escala de parâmetros como métricas autônomas para personalização.
   • Modos de falha distintos de SFT (limitado pela escalabilidade da construção de dados) e RLVR (tendência ao viés de resposta e redução da calibração).

Os autores concluem que o Omni-Persona serve como um framework de diagnóstico para guiar pesquisas futuras em pós-treinamento e design de recompensa, destacando que os métodos atuais lutam para equilibrar alto recall com abstenção calibrada em cenários de recuperação realistas e ruidosos.