SKG-VLA: Scene Knowledge Graph Priors for Structured Scene Semantics and Multimodal Reasoning for Decision Making

Resumen Técnico de SKG-VLA: Priors de Grafo de Conocimiento de Escena para Semántica de Escena Estructurada y Razonamiento Multimodal para la Toma de Decisiones

1. Definición del Problema

El artículo aborda las limitaciones de los sistemas actuales de gestión automatizada de reclamaciones en plataformas de servicios en línea a gran escala. Los sistemas existentes suelen depender de clasificaciones superficiales o de coincidencia de plantillas sobre modalidades aisladas (por ejemplo, narrativas de texto, capturas de pantalla, metadatos) y no logran utilizar la estructura explícita de la escena, el conocimiento de las reglas y las dependencias entre pruebas cruzadas.

La toma de decisiones en reclamaciones es inherentemente compleja, requiriendo un razonamiento coordinado sobre evidencia heterogénea que incluye:

• Alegaciones y narrativas del usuario: La descripción central de la reclamación.
• Evidencia visual: Capturas de pantalla, recibos y capturas de la interfaz de usuario.
• Contexto transaccional: Registros de pedidos, marcas de tiempo y etapas del servicio.
• Restricciones normativas: Reglas de la plataforma, condiciones de elegibilidad y criterios de escalación.
• Interacciones históricas: Historial de negociaciones previas.

Los autores argumentan que, sin una representación estructural explícita, los modelos a menudo producen recomendaciones que suenan plausibles pero son inconsistentes con las políticas. El desafío central es pasar de una simple clasificación a un razonamiento multimodal sobre semántica de escena estructurada para garantizar que las decisiones se basen en la política, la suficiencia de la evidencia y la atribución de responsabilidad.

2. Metodología: Marco SKG-VLA

La solución propuesta, SKG-VLA, trata cada caso de reclamación como una "escena de reclamación" y utiliza un Grafo de Conocimiento de Escena (SKG) como representación central. La metodología consta de tres componentes principales:

A. Representación del Grafo de Conocimiento de Escena (SKG)
El SKG modela un caso de reclamación como un grafo unificado $G = (V, E, A)$ donde:

• Nodos ($V$): Incluyen entidades de reclamación, elementos de evidencia, cláusulas normativas, eventos temporales, estados transaccionales y nodos de decisión.
• Relaciones ($E$): Relaciones tipadas que conectan las entidades anteriores.
• Atributos ($A$): Atributos específicos de cada nodo.
  Los autores dividen los nodos en categorías fuertemente acopladas (críticas para la dirección de la decisión, por ejemplo, estado del pedido, cláusulas normativas) y débilmente acopladas (detalles periféricos) para guiar la generalización del grafo.

B. Pipeline de Síntesis de Datos
Para superar la falta de conjuntos de datos con estructura de escena explícita y supervisión de acciones auditable, los autores construyen un conjunto de datos a gran escala mediante un pipeline de tres etapas:

1. Generación: Un parser basado en LLM convierte la evidencia multimodal cruda ($X = \{x_{text}, x_{img}, x_{meta}, x_{hist}, x_{rule}\}$) en un SKG inicial ($G_0$), una descripción de escena estructurada ($D_0$) y un par de preguntas y respuestas ($Q_0$).
2. Verificación: Un bucle iterativo verifica la consistencia entre el grafo, la evidencia y la política, refinando las salidas ($G_k, D_k, Q_k$) hasta la convergencia.
3. Generalización: Se aplican ediciones de grafos restringidas por reglas ($\Phi$) para expandir el espacio de escenas, generando variantes consistentes con las reglas que modifican la suficiencia de la evidencia o las etapas del servicio mientras preservan la validez lógica.

C. Estrategia de Entrenamiento de Tres Etapas
El marco inyecta priores de escena estructurada en un modelo de decisión multimodal mediante:

1. Pre-entrenamiento Adaptativo al Dominio: Adapta el modelo de lenguaje a la semántica del dominio de reclamaciones utilizando descripciones de escenas generadas y datos de preguntas y respuestas.
2. Ajuste Fino de Instrucciones Orientado a Tareas: Entrena al modelo para responder preguntas relacionadas con la escena y emitir decisiones fundamentadas en la política.
3. Alineación Multimodal de Extremo a Extremo: Conecta el modelo de lenguaje ajustado finamente con un codificador visual y un proyector de metadatos para consumir directamente la evidencia multimodal cruda.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Reformulación de la Tarea: Definir el manejo de reclamaciones multimodal como un problema de razonamiento de escena estructurada e introducir los Grafos de Conocimiento de Escena como priores explícitos para la comprensión, la fundamentación en la política y la recomendación de acciones.
2. Marco de Síntesis de Datos: Un pipeline que genera descripciones de escenas de reclamación, generalizaciones de grafos consistentes con las reglas, supervisión de preguntas y respuestas y recomendaciones de decisiones a partir de evidencia multimodal.
3. Nuevo Conjunto de Datos y Puntos de Referencia: Construcción de un conjunto de datos a gran escala (183.642 casos base expandidos a 1,43 millones de SKG) y dos suites de evaluación dentro del dominio:
   • ComplaintScene-Text: Un punto de referencia solo de texto centrado en el razonamiento fundamentado en la política.
   • ComplaintScene-MM: Un punto de referencia multimodal que evalúa el razonamiento completo de la escena en entornos realistas ricos en evidencia.
4. Pipeline de Entrenamiento: Una estrategia de tres etapas que transfiere progresivamente priores de escena estructurada a un modelo multimodal, mejorando la interpretabilidad, la robustez y la consistencia con la política.

4. Resultados Experimentales

Los experimentos se realizaron utilizando backbones Qwen2.5 (0.5B, 1.5B, 3B) y se compararon con puntos de referencia multimodales de propósito general oficiales (por ejemplo, Qwen2.5-VL-3B-Instruct).

• Rendimiento Intra-Dominio: SKG-VLA superó consistentemente a los puntos de referencia en todas las escalas de modelos. En el punto de referencia ComplaintScene-MM, el modelo SKG-VLA de 3B logró una puntuación promedio de 84.48, superando al Qwen2.5-VL-3B-Instruct oficial (80.88) y al punto de referencia multimodal sin priores SKG (82.17). Las ganancias fueron más significativas en Atribución de Responsabilidad y Predicción de Resolución, las tareas de decisión más complejas.
• Fundamentación en la Política: El modelo mostró una Consistencia Normativa superior (84.02% para SKG-VLA de 3B frente a 75.61% para el punto de referencia genérico), indicando una mejor adhesión a las reglas del dominio.
• Generalización: SKG-VLA demostró un rendimiento más fuerte en escenarios de reclamación de Tipo Raro (77.46% frente a 69.84% para el punto de referencia), lo que sugiere que los priores estructurados ayudan al modelo a extrapolar más allá de las plantillas frecuentes.
• Robustez: Bajo corrupción de evidencia (30% de datos faltantes), SKG-VLA se degradó de manera más suave que los puntos de referencia, manteniendo una mayor precisión. Esto indica que las decisiones se estabilizan por la semántica a nivel de grafo en lugar de depender únicamente de señales visuales locales.
• Aprendizaje por Transferencia: Aunque el punto de referencia genérico mantuvo una ligera ventaja en tareas de transferencia amplia (SIMMC 2.0, DocVQA), SKG-VLA permaneció competitivo mientras superaba significativamente en tareas específicas de reclamaciones.

Los Estudios de Ablación confirmaron que la estructura explícita del grafo SKG proporcionó la mayor ganancia de rendimiento, seguida por los nodos de política y la generalización de grafos consistente con las reglas.

5. Significado y Afirmaciones

El artículo afirma que SKG-VLA aborda una brecha crítica en el soporte de decisiones automatizado al ir más allá de la coincidencia a nivel superficial hacia el razonamiento de escena estructurada.

• Consistencia Normativa: El significado principal radica en la capacidad de generar decisiones que sean auditable y estrictamente consistentes con las políticas de la plataforma, un requisito que a menudo se pasa por alto en los modelos multimodales de propósito general.
• Manejo de Evidencia Incompleta: El marco es particularmente efectivo en escenarios de "cola larga" y "evidencia incompleta", que son comunes en sistemas operativos del mundo real donde las capturas de pantalla pueden faltar o los metadatos pueden estar incompletos. El SKG proporciona un andamiaje estructural que permite al modelo razonar incluso cuando falta evidencia específica.
• Interpretabilidad: Al organizar entidades y relaciones en un grafo, el sistema ofrece una ruta de razonamiento más interpretable en comparación con la clasificación de caja negra, facilitando una mejor supervisión humana.

Los autores concluyen que, aunque los modelos multimodales generales son poderosos, requieren priores estructurales específicos del dominio (como los SKG) para manejar de manera efectiva la naturaleza restringida por reglas y dependiente de la evidencia de la toma de decisiones en reclamaciones.