OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

Resumen Técnico: OmniTrace

1. El Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) modernos, especialmente aquellos de arquitectura "omni-modal" (capaces de procesar texto, imagen, audio y video simultáneamente), generan respuestas fluidas a partir de entradas complejas e intercaladas. Sin embargo, existe un desafío crítico: la falta de transparencia en la atribución.

• Limitaciones de los métodos existentes: Las técnicas actuales de atribución (explicabilidad) están diseñadas principalmente para tareas de clasificación o arquitecturas basadas en codificadores (encoders), donde el objetivo es fijo (ej. una etiqueta de clase).
• Desafíos en la generación abierta: En modelos decodificadores (decoder-only) que generan texto autoregresivamente:
  1. No hay un objetivo fijo; la estructura del grafo causal evoluciona en cada paso de decodificación.
  2. Las entradas son heterogéneas (texto, imágenes, audio, video) compartiendo una línea de tiempo unificada de tokens.
  3. Las señales a nivel de token (como pesos de atención) son ruidosas, fragmentadas y difíciles de interpretar semánticamente a nivel de oración o párrafo.

Necesitan un marco que pueda rastrear qué partes específicas de las entradas multimodales (ej. un intervalo de video o un fragmento de audio) sustentan cada afirmación generada por el modelo, sin necesidad de reentrenar el modelo.

2. Metodología: OmniTrace

OmniTrace es un marco ligero, agnóstico al modelo y diseñado para funcionar durante el tiempo de generación (generation-time). Su objetivo es formalizar la atribución como un problema de rastreo sobre el proceso de decodificación causal.

Componentes Clave del Algoritmo:

1. Rastreo de Fuentes en Tiempo de Generación (Generation-Time Source Tracing):

   • En cada paso de decodificación $t$, el modelo genera un token $y_t$.
   • OmniTrace obtiene una señal de atribución a nivel de token $a_t(i)$ (que puede provenir de pesos de atención, gradientes u otras métricas internas) para cada token de entrada $i$ en el contexto causal.
   • Proyecta estas puntuaciones sobre unidades de fuente predefinidas $S$ (ej. fragmentos de texto, regiones de imagen, intervalos de tiempo de audio/video).
   • Asigna el token generado a la unidad de fuente con la mayor masa de atribución acumulada, registrando también un puntaje de confianza.

2. Agregación a Nivel de Span (Span-Level Aggregation):

   • Las señales a nivel de token son inestables. Para lograr interpretabilidad, OmniTrace agrupa los tokens generados en "spans" semánticamente coherentes (frases o oraciones) después de la decodificación.
   • Agrega las asignaciones de fuente y los puntajes de confianza de todos los tokens dentro de un span.

3. Selección de Fuentes Basada en Confianza y Coherencia (Source Curation):

   • Aplica un proceso de filtrado para seleccionar un conjunto conciso de fuentes de soporte para cada span.
   • Utiliza tres mecanismos clave:
     • Ponderación POS: Da más peso a tokens semánticamente ricos (sustantivos, números) y menos a palabras funcionales.
     • Modelado de Confianza: Amplifica las asignaciones con alta certeza y atenúa las ambiguas.
     • Coherencia de Ejecución (Run-level Coherence): Favorece fuentes que reciben soporte continuo a lo largo de tokens consecutivos, evitando asignaciones dispersas y ruidosas.

Características del Marco:

• Agnóstico a la señal: Funciona con cualquier señal de atribución a nivel de token (atención, gradientes, etc.).
• Sin reentrenamiento: Es un módulo "plug-and-play" que opera sobre modelos existentes.
• Multimodal unificado: Maneja una línea de tiempo de tokens que incluye texto, imágenes, audio y video.

3. Contribuciones Clave

1. Formalización del Problema: Definir la atribución para la generación multimodal abierta como un problema de rastreo en tiempo de generación sobre arquitecturas decodificadoras, destacando las limitaciones de los enfoques de objetivo fijo.
2. Propuesta de OmniTrace: Un marco unificado que convierte señales de tokens ruidosas en explicaciones de fuentes a nivel de span, coherentes y cruzadas entre modalidades, sin supervisión ni reentrenamiento.
3. Validación Empírica: Demostración de que la atribución consciente de la generación produce señales de anclaje (grounding) más estables e interpretables en comparación con baselines post-hoc (como auto-atribución o similitud de embeddings).

4. Resultados Experimentales

El marco se evaluó en modelos de última generación (Qwen2.5-Omni y MiniCPM-o-4.5) a través de 759 ejemplos en tareas de razonamiento y resumen visual, de audio y de video.

• Rendimiento Superior: OmniTrace superó consistentemente a las heurísticas post-hoc (auto-atribución, similitud de embeddings, asignación aleatoria) en todas las modalidades.
  • Ejemplo: En tareas de resumen visual con Qwen2.5-Omni, OmniTrace alcanzó un F1 de 75.66 (texto) y 76.59 (imagen), frente a un 9.25 y 40.60 respectivamente para la auto-atribución.
• Robustez: El rendimiento se mantuvo sólido independientemente de la señal subyacente utilizada (promedio de atención, atención cruda o gradientes).
• Importancia de la Segmentación: Se demostró que la calidad de la segmentación semántica (ej. mediante ASR de alta calidad para audio) es crítica. Sin segmentación semántica (usando tokens crudos), el rendimiento cae drásticamente.
• Complementariedad Multimodal: En tareas de video, el uso combinado de señales visuales y auditivas para la atribución produjo mejores resultados que el uso de una sola modalidad, confirmando que OmniTrace puede integrar evidencia complementaria.
• Análisis de Sesgos: Se observó un sesgo hacia los tokens iniciales de la entrada (early-token bias) y una calibración no lineal en la atribución cruzada de modalidades, proporcionando insights sobre el comportamiento interno de los MLLMs.

5. Significado e Impacto

OmniTrace representa un avance fundamental hacia la transparencia y la confianza en los modelos de lenguaje multimodal.

• Interpretabilidad Real: Permite a los usuarios y desarrolladores entender no solo qué generó el modelo, sino por qué y sobre qué evidencia se basó, incluso en contextos complejos de video o audio.
• Escalabilidad: Al ser un marco ligero y sin reentrenamiento, es aplicable a modelos existentes y futuros, facilitando la depuración y la auditoría de sistemas de IA.
• Fundamento para Futuras Investigaciones: Establece un protocolo unificado para la atribución en generación abierta, sugiriendo que tratar la atribución como un problema estructurado de rastreo en tiempo de ejecución es esencial para la próxima generación de modelos omni-modales.

En resumen, OmniTrace cierra la brecha entre la capacidad generativa de los MLLMs y la necesidad de explicar sus decisiones, proporcionando un mecanismo robusto para rastrear la información desde la entrada multimodal hasta la salida generada.