Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

Resumen Técnico: Hacia Modelos de Visión-Lenguaje de Baja Latencia con Predicciones Doblemente Correctas en la Comprensión Visual Egocéntrica

Declaración del Problema
La rápida adopción de los Modelos de Visión-Lenguaje (VLM) en la colaboración humano-robot (HRC) y la comprensión visual egocéntrica enfrenta un cuello de botella crítico: el alto costo computacional y la latencia de inferencia de los modelos masivos dificultan el procesamiento en tiempo real a bordo. Si bien la poda de pesos es una técnica estándar para reducir el tamaño del modelo y la computación, los métodos existentes optimizan principalmente solo la precisión de la predicción. Este artículo sostiene que, en la robótica física de seguridad crítica, la precisión es insuficiente. Un modelo debe producir Predicciones Doblemente Correctas (DCP): salidas que no solo sean fácticamente correctas, sino también fundamentadas en evidencia visual válida (razonamientos o rationales).

Los autores identifican un modo de falla específico en las estrategias de poda actuales: estas suelen preservar la capacidad de identificar evidencia válida (por ejemplo, la ubicación correcta de un objeto) pero degradan la capacidad del modelo para utilizar esa evidencia para realizar la predicción correcta. Esto conduce a escenarios de "Correcto por la Razón Equivocada", donde un modelo podado podría localizar correctamente una llave inglesa pero fallar al predecir la acción de "entrega", o inversamente, predecir la acción correcta basándose en correlaciones espurias en lugar del objeto mismo. Tal desalineación plantea graves riesgos de seguridad en la inteligencia encarnada (embodied intelligence), lo que podría derivar en fallos de la tarea o lesiones humanas.

Metodología
El artículo propone una estrategia de Poda Informada por el Razonamiento diseñada para preservar las DCP mientras se reduce la carga computacional. La metodología procede a través de los siguientes pasos:

1. Definición del Protocolo de Evaluación: Los autores definen un protocolo de evaluación de DCP espacio-temporal para videos egocéntricos.

   • Definición de Razonamiento (Rationale): Los razonamientos se definen como los objetos manipulados por humanos que proporcionan evidencia para una acción.
   • Dimensiones: La corrección se evalúa en dos dimensiones: Espacial (localización del objeto dentro de un fotograma, medida mediante la Precisión de Masa Relevante) y Temporal (identificación de fotogramas que contienen el objeto, tratada como clasificación binaria).
   • Métricas: El estudio introduce la Confiabilidad de la Predicción (PT), la Fiabilidad de la Inferencia (IR) y la proporción de muestras Doblemente Correctas (RR) para diagnosticar los efectos de la poda.

2. Hallazgos Diagnósticos: Los experimentos en métodos de poda post-entrenamiento existentes (OMP, GMP, Kwon et al., ECoFLaP) revelan que, si bien pueden mantener una alta PT (razonamientos válidos entre las predicciones correctas), degradan significativamente la IR (predicciones correctas entre los razonamientos válidos) y la RR. Los modelos podados suelen retener la localización de evidencia válida pero fallan en propagar esta evidencia a la capa de decisión final, resultando en predicciones incorrectas a pesar de tener razonamientos correctos.

3. Algoritmo de Poda Propuesto: Para abordar esto, los autores introducen un marco de poda que aprovecha los propios razonamientos generados por el modelo para guiar la selección de pesos sin supervisión adicional.

   • No Uniformidad por Capas: Los ratios de poda se asignan de forma no uniforme a través de las capas basándose en las magnitudes de los pesos, reconociendo que diferentes capas contribuyen de manera desigual a la predicción.
   • Hessiano Guiado por el Razonamiento: La innovación central modifica el enfoque estándar de Optimal Brain Surgeon (OBS). En lugar de usar activaciones de entrada puras para calcular la matriz Hessiana (que incluye ruido de fondo), el método incorpora una máscara de razonamiento.
   • Modulación Semántica: La máscara de razonamiento se refina mediante el cálculo de la similitud de coseno entre el embedding de texto del objeto del razonamiento y la clase predicha. Esta puntuación de similitud actúa como un factor semántico para ponderar la máscara, amplificando las contribuciones de los razonamientos semánticamente alineados y reduciendo el peso del ruido.
   • Calificación de Pesos: La puntuación de importancia para cada peso se calcula utilizando una aproximación de Taylor de segundo orden de la pérdida, donde el Hessiano se construye utilizando la máscara de razonamiento modulada. Esto asegura que se preserven los pesos críticos para conectar la evidencia válida con la decisión correcta.

Contribuciones Clave

• Evaluación de DCP Espacio-Temporal: El artículo propone un nuevo protocolo de evaluación específicamente para la comprensión visual egocéntrica que evalúa tanto la precisión de la predicción como la validez de los razonamientos espacio-temporales.
• Perspectiva Diagnóstica: A través de extensos experimentos, los autores descubren un riesgo previamente inexplorado en la poda: los métodos existentes a menudo desacoplan la evidencia válida de las decisiones correctas, lo que conduce a un despliegue poco fiable de los VLM en robótica.
• Poda Informada por el Razonamiento: Un novedoso algoritmo de poda que utiliza los propios razonamientos del modelo para guiar la eliminación de pesos. Este enfoque alinea la localización de la evidencia con la toma de decisiones, asegurando que los modelos reducidos conserven la capacidad de producir predicciones doblemente correctas.

Resultos Experimentales
El método fue evaluado en bancos de pruebas estándar de video egocéntrico: EPIC-KITCHENS VISOR y EgoExco4D, utilizando ActionCLIP (ViT-B/32) como modelo base.

• Rendimiento: El método propuesto supera consistentemente a las líneas base de poda existentes (OMP, GMP, Kwon et al., ECoFLaP) en todos los ratios de poda (20%, 25%, 30%).
• Precisión: Logra la mayor precisión de predicción entre todos los métodos comparados.
• Métricas de Doble Corrección: El método mejora significativamente la Fiabilidad de la Inferencia (IR) y la proporción de muestras Doblemente Correctas (RR). Por ejemplo, en EPIC-KITCHENS VISOR con un ratio de poda del 30%, el método mejoró la IR espacial en un 13.62% y la RR en un 3.65% en comparación con la sólida línea base ECoFLaP.
• Confiabilidad: El método preserva con éxito la Confiabilidad de la Predicción (PT), asegurando que las predicciones correctas sigan fundamentadas en razonamientos válidos.
• Estudios de Ablación: Los experimentos confirman que tanto el uso de máscaras de razonamiento como la modulación semántica de estas máscaras son componentes críticos; eliminar cualquiera de ellos provoca una caída significativa en el rendimiento de DCP.

Significado y Reivindicaciones
El artículo sostiene que lograr VLM de baja latencia para la robótica requiere más que solo eficiencia computacional; exige seguridad y transparencia. Al centrarse en las predicciones doblemente correctas, los autores argumentan que su método cierra la brecha entre la eficiencia y la fiabilidad. El trabajo sugiere que las estrategias de poda deben evolucionar para preservar el vínculo semántico entre la evidencia y la decisión. Los autores pretenden estimular la investigación en VLM eficientes que alineen los avances impulsados por la precisión con la transparencia, la auditabilidad y la seguridad requeridas para la interacción responsable humano-robot y la inteligencia encarnada. Enfatizan que sus hallazgos desafían la suposición de que la poda solo afecta la eficiencia y la precisión, destacando una nueva dimensión de riesgo donde los modelos se vuelven "correctos por la razón equivocada" o fallan al utilizar la evidencia correcta.