Resumen Técnico: AlignG – Aprendizaje de Semántica de Predicados Condicionada al Contexto mediante Retroalimentación de Prototipos

1. Enunciado del Problema

La Generación de Grafos de Escena (SGG) tiene como objetivo representar imágenes como grafos estructurados de objetos y sus relaciones semánticas. Un desafío fundamental en este dominio es modelar predicados polisémicos, donde el significado de una etiqueta (por ejemplo, "sobre", "montando") cambia dependiendo del contexto visual específico. Por ejemplo, una persona de pie sobre esquís sin movimiento está "de pie sobre" ellos, mientras que una persona que se desplaza cuesta abajo está "montando" en ellos, a pesar de tener apariencias visuales similares.

Los enfoques existentes intentan abordar esto mediante:

• Prototipos Estáticos: Asignar un único prototipo fijo por predicado (por ejemplo, PE-Net).
• Descomposición en Múltiples Prototipos: Dividir los predicados en múltiples sub-prototipos estáticos (por ejemplo, C-SGG).
• Recuperación/Conocimiento Externo: Utilizar ejemplos externos o Modelos de Lenguaje Grandes (LLM) para la desambiguación.

Sin embargo, estos métodos sufren una limitación crítica: las representaciones de los predicados permanecen estáticas. No pueden reorganizar la semántica para reflejar la evidencia específica de la imagen durante la inferencia. Los anclajes fijos no logran adaptarse a los matices contextuales, lo que conduce a confusiones sistemáticas en escenas ambiguas donde las características visuales por sí solas son insuficientes para distinguir entre el contacto espacial y el uso funcional.

2. Metodología: AlignG

Los autores proponen AlignG, un marco de aprendizaje de retroalimentación de prototipos que conecta la semántica global de los predicados con el contexto relacional específico de la imagen. A diferencia de trabajos anteriores que tratan los prototipos como anclajes fijos, AlignG los trata como variables condicionadas al contexto que se adaptan dinámicamente basándose en las señales relacionales dentro de cada imagen.

El marco opera mediante un proceso de refinamiento en dos etapas:

Etapa 1: Contextualización de los Prototipos de Predicados

En lugar de utilizar prototipos estáticos, AlignG los actualiza incrementalmente utilizando evidencia relacional de la imagen actual.

• Mecanismo: Agrega las incrustaciones de relaciones para cada prototipo mediante atención cruzada ponderada por compatibilidad. Este mecanismo evalúa la compatibilidad entre un prototipo global y todos los candidatos de relación en la imagen, asignando pesos más altos a los más relevantes.
• Regla de Actualización: La señal contextual resultante se introduce en una celda de Unidad Recurrente con Puerta (GRU) junto con el prototipo estático normalizado. Esto produce un prototipo refinado específico de la imagen $p^{(I)}_r$.
• Objetivo: Esto permite que los prototipos evolucionen con la evidencia local mientras mantienen la estabilidad dentro del espacio semántico global, evitando una deriva semántica abrupta.

Etapa 2: Recalibración de las Incrustaciones de Relación

Una vez que los prototipos se adaptan, se utilizan para refinar las incrustaciones de relación.

• Mecanismo: Un mecanismo de atención cruzada inversa propaga los prototipos adaptados de vuelta a los candidatos de relación. Esto determina cuánto contribuye cada prototipo adaptado a refinar una incrustación de relación específica.
• Recalibración: La incrustación de relación cruda se fusiona con la señal de retroalimentación informada por el prototipo mediante una red de proyección.
• Objetivo: Este ajuste de un solo paso asegura que las representaciones de relación sean flexibles ante la variación local, pero consistentes con la semántica global.

Objetivos de Entrenamiento

La optimización sigue tres pérdidas clave:

1. Pérdida de Clasificación ($L_{cls}$): Entropía cruzada estándar para la predicción de predicados.
2. Pérdida de Regularización ($L_{reg}$): Impone diversidad entre los prototipos y previene la redundancia (penalización de similitud y margen de diversidad).
3. Pérdida de Alineación ($L_{align}$): Una pérdida contrastiva que acerca las incrustaciones de relación recalibradas a sus prototipos globales estáticos (no a los adaptados) y las aleja de los negativos confusos.
   • Elección de Diseño Crucial: Anclar la pérdida a prototipos estáticos previene la co-adaptación trivial entre relaciones y prototipos dentro de una sola imagen, asegurando que el clasificador permanezca fundamentado en centros semánticos agnósticos a la imagen.

3. Contribuciones Clave

1. Reformulación del Aprendizaje de Predicados: El artículo cambia el paradigma del aprendizaje de prototipos estáticos a la adaptación condicionada a la imagen, tratando la semántica de los predicados como variables dinámicas sensibles a la evidencia relacional.
2. Marco AlignG: Introducción de un mecanismo de retroalimentación de prototipos en dos etapas que:
   • Adapta los prototipos a la evidencia específica de la imagen.
   • Recalibra las características de relación bajo estos prototipos adaptados.
   • Preserva la coherencia semántica global mediante el anclaje estático en la función de pérdida.
3. Validación Empírica: Demostración de un rendimiento de vanguardia en benchmarks estándar, respaldado por visualizaciones que muestran una reorganización coherente y dependiente del contexto de la semántica de los predicados.

4. Resultados Experimentales

El modelo fue evaluado en VG-150 y GQA-200 bajo tres configuraciones: Clasificación de Predicados (PredCls), Clasificación de Grafos de Escena (SGCls) y Detección de Grafos de Escena (SGDet).

• Rendimiento en VG-150:

  • Bajo SGDet, AlignG logró un F@100 de 23.8, una mejora de +1.4 sobre el mejor anterior (MCL).
  • Logró la Mayor Recuperación Media (mR@100) en todas las configuraciones (42.6 en PredCls, 26.1 en SGCls, 19.7 en SGDet).
  • En comparación con la base PE-Net, AlignG mostró ganancias sustanciales en mR@100 (+8.8, +7.2, +5.2 respectivamente), confirmando que las mejoras provienen del mecanismo de retroalimentación y no de la expansión de conceptos.

• Rendimiento en GQA-200:

  • AlignG logró un F@100 de 19.5 en SGDet, una mejora de +2.7 sobre la línea base.
  • Demostró mejoras consistentes en mR@100 (+10.8 sobre PE-Net), equilibrando efectivamente la precisión global y la equidad a través de distribuciones de cola larga.

• Ablación y Análisis:

  • Análisis de Componentes: Reemplazar la concatenación simple con un actualizador basado en GRU mejoró consistentemente el rendimiento, particularmente en la Recuperación Media.
  • Análisis de Confusión: AlignG resolvió entre el 11.5% y el 42.6% de los errores cometidos por PE-Net en pares de negativos difíciles (por ejemplo, distinguir "tendido sobre" vs. "acostado sobre").
  • Sobrecarga Computacional: El método añade un costo computacional mínimo (+7.05G FLOPs, +0.03s/iter) mientras mantiene velocidades de inferencia en tiempo real (>30 FPS).

5. Significado y Afirmaciones

El artículo afirma que la coherencia semántica y la flexibilidad contextual pueden coexistir dentro de una estructura unificada. Al integrar la adaptabilidad directamente en las representaciones de los predicados, AlignG demuestra que los prototipos estáticos (que proporcionan estabilidad) y la adaptación específica de la imagen (que captura la evidencia de la escena) pueden operar como mecanismos complementarios.

Los autores enfatizan que su enfoque:

• Refina Predicados Ambiguos: Fusiona o separa selectivamente las semánticas de los predicados basándose en la evidencia de la escena, como se visualiza en los mapas de calor de similitud de prototipos por imagen.
• Evita la Deriva Semántica: El uso de prototipos estáticos en la pérdida de alineación ancla el modelo a centros semánticos globales, evitando que el modelo derive hacia artefactos locales o detecciones ruidosas.
• Generalizabilidad: Aunque validado en benchmarks basados en imágenes, los autores sugieren que el principio de adaptación condicionada al contexto podría extenderse a entornos secuenciales como la comprensión de video, donde las semánticas relacionales cambian a lo largo del tiempo.

El artículo concluye con una declaración de impacto modesta, reconociendo que, aunque el método avanza la SGG, hereda sesgos de anotación de los conjuntos de datos de entrenamiento. Recomiendan la validación en distribuciones objetivo y la supervisión humana para aplicaciones sensibles a la seguridad.