Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Resumen Técnico: Mitigación de Atajos Impulsados por Objetos en el Reconocimiento de Acciones Composicionales Zero-Shot

1. El Problema: Fallos en la Generalización Composicional

El Reconocimiento de Acciones Composicionales Zero-Shot (ZS-CAR) tiene como objetivo identificar combinaciones novedosas de verbos (acciones) y objetos que no han sido vistas durante el entrenamiento, utilizando vocabularios compartidos de verbos y objetos.

Los autores identifican un modo de fallo crítico: los modelos actuales tienden a predecir verbos basándose en atajos impulsados por objetos (object-driven shortcuts) en lugar de utilizar la evidencia temporal necesaria. En lugar de analizar la dinámica del movimiento a lo largo del tiempo, el modelo infiere la acción basándose simplemente en la clase del objeto presente, aprovechando las correlaciones espurias del conjunto de datos de entrenamiento.

Causas Raíz Identificadas:

1. Supervisión Composicional Escasa y Sesgada: Los conjuntos de datos cubren solo una fracción mínima del espacio combinatorio de verbos-objetos. Esto crea priors de co-ocurrencia fuertes; el modelo aprende que ciertos objetos aparecen casi siempre con ciertos verbos en el entrenamiento.
2. Asimetría en la Dificultad de Aprendizaje: Reconocer un objeto es visualmente explícito y fácil (requiere un solo fotograma), mientras que reconocer un verbo requiere razonamiento temporal multi-fotograma. Los modelos, buscando la solución más fácil, priorizan las señales estáticas del objeto sobre las dinámicas temporales del verbo.

2. Metodología: RCORE

Para abordar este problema, los autores proponen RCORE (Robust COmpositional REpresentations), un marco de aprendizaje diagnóstico que integra dos componentes de regularización para forzar al modelo a aprender representaciones verbales temporalmente fundamentadas.

A. Regularización de Prior de Co-ocurrencia (CPR - Co-occurrence Prior Regularization)

• Objetivo: Mitigar la dependencia de las estadísticas de co-ocurrencia frecuentes.
• Mecanismo:
  • Supervisión Sintetizada: Genera nuevas composiciones verb-objeto que no existen en el entrenamiento inyectando la cue estática de un objeto de un video en las regiones de alto movimiento de otro video.
  • Negativos Duros: Trata las composiciones frecuentes y vistas como "negativos duros" mediante una regularización basada en márgenes. Esto obliga al modelo a no sobrepuntuar las combinaciones frecuentes del entrenamiento cuando se enfrenta a nuevas composiciones.
  • Expansión Adaptativa del Espacio de Etiquetas: Utiliza un espacio de etiquetas expandido por lotes para supervisar estas nuevas composiciones sin desestabilizar la optimización cerrada.

B. Regularización de Orden Temporal para Composición (TORC - Temporal Order Regularization)

• Objetivo: Forzar al modelo a depender de la estructura temporal en lugar de señales estáticas.
• Mecanismo:
  • Perturbación Temporal: Presenta al modelo versiones de los videos con el orden temporal invertido (reversed) o mezclado aleatoriamente (shuffled).
  • Pérdida de Similitud Cosine ($L_{cos}$): Penaliza la similitud entre las características del verbo original y las del video invertido. Si el modelo aprende bien la temporalidad, la inversión debería cambiar drásticamente el significado (ej. "abrir" vs. "cerrar"), resultando en baja similitud.
  • Pérdida de Entropía Negativa ($L_{ent}$): Penaliza predicciones verbales confiantes cuando el orden temporal se ha roto. Esto obliga al modelo a no hacer predicciones seguras basándose solo en cues espaciales estáticas.

3. Diagnóstico y Métricas Propuestas

Antes de proponer la solución, los autores introducen métricas diagnósticas cuantitativas para medir la dependencia de atajos:

• FSP (False Seen Prediction): Fracción de muestras no vistas que el modelo clasifica incorrectamente como composiciones vistas durante el entrenamiento.
• FCP (False Co-occurrence Prediction): Fracción de errores que caen en las composiciones más frecuentes del entrenamiento.
• Análisis de Colapso: Desglosan los errores en Verb-collapse (el objeto es correcto, pero el verbo es incorrecto debido al atajo) y Object-collapse.

4. Resultados Experimentales

Los autores evaluaron RCORE en dos conjuntos de datos: Sth-com (derivado de Something-Something V2) y EK100-com (una nueva versión de EPIC-KITCHENS-100 con mayor dispersión composicional).

• Rendimiento Superior: RCORE supera consistentemente a los baselines del estado del arte (como C2C) en precisión de composiciones no vistas (unseen compositions) y en la media armónica (H.M.) entre vistas y no vistas.
• Reducción de Atajos: Se observa una disminución significativa en las tasas de FSP y FCP. El modelo deja de colapsar hacia las composiciones frecuentes.
• Generalización Temporal: En el subconjunto "Temporal" de Sth-com, RCORE muestra una mayor caída de rendimiento cuando se mezclan los fotogramas (shuffled inputs) en comparación con el baseline. Esto demuestra que RCORE depende genuinamente de la dinámica temporal, mientras que el baseline depende de cues estáticas.
• Validación en Backbones: Los resultados son consistentes tanto con backbones pre-entrenados en video (InternVideo2) como con modelos de lenguaje-vision (CLIP).
• Evaluación Open-World: A diferencia de métodos anteriores que usan protocolos cerrados (donde se ocultan las composiciones no vistas), RCORE se evalúa en un protocolo de mundo abierto, demostrando robustez sin necesidad de calibración de sesgo basada en etiquetas de prueba.

5. Contribuciones Clave

1. Diagnóstico de Atajos: Identifican y cuantifican empíricamente que la dificultad asimétrica de aprendizaje (objeto vs. verbo) y los priors de co-ocurrencia son las causas fundamentales de la mala generalización en ZS-CAR.
2. Marco RCORE: Proponen una solución técnica que combina la regularización de priors de co-ocurrencia (CPR) y la sensibilidad al orden temporal (TORC) para forzar un aprendizaje composicional robusto.
3. Nuevos Datos y Protocolos: Introducen EK100-com, un nuevo benchmark con mayor dispersión, y abogan por protocolos de evaluación open-world que evitan la sobreestimación de rendimiento mediante calibración de sesgo en el conjunto de prueba.

6. Significado e Impacto

Este trabajo es fundamental para el campo de la comprensión de video porque:

• Desafía el estado actual: Demuestra que incluso los modelos modernos pre-entrenados en video siguen sufriendo de "ceguera temporal" en tareas composicionales, confiando en atajos fáciles.
• Mejora la Generalización: Al forzar el aprendizaje de representaciones verbales basadas en el tiempo, el modelo puede generalizar a situaciones del mundo real donde las combinaciones de acciones y objetos son infinitas y no están en los datos de entrenamiento.
• Implicaciones para la IA Robusta: Proporciona un camino para construir sistemas de visión por computadora que no solo "reconozcan" objetos, sino que realmente "entiendan" la secuencia y la causalidad de las acciones humanas, un paso necesario para la interacción robótica y la asistencia inteligente.

En resumen, el artículo demuestra que para que una IA pueda responder correctamente a la pregunta "¿Por qué no puedo abrir mi cajón?", debe aprender a distinguir entre "abrir" y "cerrar" basándose en el movimiento temporal, y no simplemente en la presencia visual del cajón. RCORE es la solución propuesta para lograrlo.