Resumen Técnico: Omni-Persona

Declaración del Problema

Si bien los modelos de lenguaje de gran tamaño multimodales (MLLM) han avanzado significativamente en el procesamiento de texto, imagen y audio, la investigación sobre la personalización omnimodal sigue fragmentada. Los enfoques existentes están predominantemente limitados a entornos de visión y lenguaje, descuidando el audio como una modalidad de persona primaria. Además, los protocolos de evaluación actuales sufren tres brechas críticas:

1. Falta de Cobertura Unificada: Los benchmarks rara vez integran texto, imagen y audio simultáneamente, tratando a menudo el audio como secundario o excluyéndolo por completo.
2. Entornos de Evaluación Idealizados: La mayoría de los benchmarks asumen que la persona objetivo siempre está presente en el contexto recuperado (solo con respuesta posible), lo que no tiene en cuenta el ruido de recuperación del mundo real donde la identidad consultada puede estar ausente. Esto conduce a un fallo en la detección de "alucinación" (responder cuando la persona falta) o "sobre-abstención" (no responder cuando la persona está presente).
3. Insuficiencia de Rigor Diagnóstico: Las métricas de recuperación estándar confunden la capacidad de fundamentación con la disposición del modelo para responder, ocultando fallos de calibración. Existe una falta de estudio sistemático sobre cómo los regímenes de post-entrenamiento (Ajuste Fino Supervisado frente a Aprendizaje por Refuerzo) afectan la fundamentación y la calibración omnimodal.

Metodología: Benchmark Omni-Persona

Los autores presentan Omni-Persona, el primer benchmark de evaluación integral para la personalización omnimodal. La metodología se basa en los siguientes componentes:

1. Formalización: Grafo de Modalidad de Persona (PMG)

La tarea se formaliza como un problema de enrutamiento cross-modal sobre un Grafo de Modalidad de Persona ($G = (V, E)$).

• Nodos: Representan una consulta ($Q$) y nodos de contexto recuperados ($C_1, \dots, C_K$). Cada nodo contiene un triplete de modalidades: visual ($v$), audio ($a$) y textual ($t$).
• Tarea: El modelo debe identificar el nodo de contexto relevante $C_j$ correspondiente a la señal de la consulta y fundamentar su respuesta en el texto asociado $t_j$. Si la persona objetivo está ausente de todos los contextos, el modelo debe abstenerse.
• Contexto en Bruto: A diferencia de trabajos previos que comprimen las señales multimodales en texto, Omni-Persona utiliza contextos en forma bruta (imágenes y clips de audio originales) para preservar claves de identidad de grano fino (por ejemplo, el timbre vocal, la geometría facial) que son difíciles de verbalizar.

2. Diseño del Benchmark

• Escala: ~750 ítems de evaluación que abarcan 4 grupos de tareas y 18 tareas de grano fino.
• Grupos de Tareas:
  1. I2I (Imagen a Imagen): Reconocimiento de identidad visual.
  2. A2A (Audio a Audio): Reconocimiento de identidad de voz.
  3. T2T (Texto a Texto): Recuperación semántica de la misma modalidad.
  4. T2Any (Texto a Cualquier Cosa): Fundamentación semántica cross-modal (por ejemplo, consulta de texto a contexto de audio/imagen).
• Evaluación de Persona Ausente: Aproximadamente el 50% de las muestras son "no-GT" (ausencia de la verdad de terreno), lo que requiere que el modelo realice una abstención estructurada en lugar de alucinar una respuesta. Se incluyen distractores difíciles (identidades visual o vocalmente similares) para simular el ruido de recuperación.

3. Métricas de Evaluación

Para abordar las limitaciones de las métricas basadas solo en la recuperación, los autores proponen la Precisión Calibrada (Cal):
$$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$$
Donde:

• $Ans$: Recuperación de Respuesta (correctitud en ítems con respuesta posible).
• $Unans$: Recuperación de No Respuesta (abstención correcta en ítems con persona ausente).
• Métricas de Anti-Alucinación: $1-FA$ (tasa de Falsa Abstención en ítems con respuesta posible) y $TA$ (tasa de Abstención Verdadera en ítems sin respuesta) se utilizan para diagnosticar modos de fallo específicos (sobre-abstención frente a alucinación).

4. Análisis de Post-Entrenamiento

El artículo investiga dos regímenes de post-entrenamiento en backbones de código abierto (Qwen2.5-Omni, Gemma4):

• Ajuste Fino Supervisado (SFT): Entrenado con conjuntos de datos de 1K y 10K de anotaciones de verdad de terreno curadas.
• Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Entrenado sin calentamiento de SFT utilizando tres componentes de recompensa verificables:
  1. Percepción: Emparejamiento binario basado en reglas (sí/no) para la identidad visual/auditiva.
  2. Localización: Selección basada en reglas del índice de contexto correcto.
  3. Recuperación: Verificación mediante LLM-as-a-Judge de respuestas fundamentadas o abstención correcta.

Resultados Clave

Los experimentos se realizaron en modelos de código cerrado (familia Gemini-3) y de código abierto (Qwen, Gemma, MiniCPM, Phi, Interactive-Omni).

1. Brecha de Fundamentación Audio-Visual: Los modelos de código abierto exhiben una brecha de rendimiento significativa entre la fundamentación visual (I2I) y la auditiva (A2A), con la recuperación de audio rezagada entre 5 y 35 puntos porcentuales. Aunque el RLVR mejora la recuperación de audio, no cierra completamente la brecha ni resuelve los problemas de calibración.
2. La Recuperación y la Escala son Diagnósticos Incompletos: Los modelos más grandes (por ejemplo, Qwen3-30B) no necesariamente logran puntuaciones Cal más altas que sus variantes más pequeñas (por ejemplo, Qwen2.5-3B). Una alta recuperación a menudo coexiste con una baja Abstención Verdadera (TA), lo que indica que el escalado por sí solo no resuelve la alucinación en escenarios de persona ausente.
3. Limitaciones de SFT: Escalar los datos de SFT de 1K a 10K muestras no mejoró consistentemente las puntuaciones Cal y, en ocasiones, degradó el rendimiento. Esto sugiere que la construcción de supervisión de verdad de terreno de alta calidad e in-domain para diversos escenarios abiertos es un cuello de botella que el SFT no puede superar fácilmente.
4. Compromisos de RLVR: El RLVR mejoró significamente la Recuperación de Respuesta (hasta +9.2% en Qwen-7B) al optimizar directamente el emparejamiento perceptivo y la recuperación fundamentada. Sin embargo, indujo un fuerte sesgo de respuesta: los modelos se volvieron menos propensos a abstenerse, causando que la TA cayera significativamente (por ejemplo, -15.4% en Qwen-7B). En consecuencia, la Precisión Calibrada (Cal) para los modelos entrenados con RLVR se mantuvo en o por debajo de los niveles del modelo base, revelando un compromiso entre recuperación y calibración.

Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Benchmark Omni-Persona: El primer benchmark integral de personalización omnimodal que unifica las modalidades de texto, imagen y audio y trata los casos de persona ausente como una dimensión central de evaluación mediante el Grafo de Modalidad de Persona.
2. Métrica de Precisión Calibrada: Un nuevo marco de evaluación que evalúa conjuntamente la corrección de la fundamentación y la abstención apropiada, exponiendo los modos de fallo (alucinación y sobre-abstención) que quedan ocultos por los protocolos tradicionales basados solo en la recuperación.
3. Perspectivas Diagnósticas: El estudio proporciona un mapa diagnóstico específico del modelo que revela:
   • Una asimetría consistente de fundamentación visual sobre la auditiva en modelos de código abierto.
   • La insuficiencia de la recuperación y la escala de parámetros como métricas independientes para la personalización.
   • Modos de fallo distintos de SFT (limitado por la escalabilidad de la construcción de datos) y RLVR (tendencia hacia el sesgo de respuesta y la reducción de la calibración).

Los autores concluyen que Omni-Persona sirve como un marco de diagnóstico para guiar la investigación futura en post-entrenamiento y diseño de recompensas, destacando que los métodos actuales luchan por equilibrar una alta recuperación con una abstención calibrada en escenarios de recuperación realistas y ruidosos.