SKG-VLA: Scene Knowledge Graph Priors for Structured Scene Semantics and Multimodal Reasoning for Decision Making

Resumo Técnico de SKG-VLA: Priors de Grafo de Conhecimento de Cena para Semântica de Cena Estruturada e Raciocínio Multimodal para Tomada de Decisão

1. Definição do Problema

O artigo aborda as limitações dos sistemas atuais de tratamento automatizado de reclamações em plataformas de serviços online em larga escala. Os sistemas existentes geralmente dependem de classificação superficial ou correspondência de modelos sobre modalidades isoladas (por exemplo, narrativas textuais, capturas de tela, metadados) e falham em utilizar estrutura de cena explícita, conhecimento de regras e dependências entre evidências cruzadas.

A tomada de decisão em reclamações é inerentemente complexa, exigindo raciocínio coordenado sobre evidências heterogêneas, incluindo:

• Reivindicações e narrativas do usuário: A descrição central da reclamação.
• Evidências visuais: Capturas de tela, recibos e capturas de interface do usuário.
• Contexto transacional: Registros de pedidos, carimbos de data e hora e estágios do serviço.
• Restrições de política: Regras da plataforma, condições de elegibilidade e critérios de escalonamento.
• Interações históricas: Histórico de negociações anteriores.

Os autores argumentam que, sem uma representação estrutural explícita, os modelos frequentemente produzem recomendações que soam plausíveis, mas são inconsistentes com as políticas. O desafio central é avançar da simples classificação para o raciocínio multimodal sobre semântica de cena estruturada, a fim de garantir que as decisões estejam fundamentadas em políticas, suficiência de evidências e atribuição de responsabilidade.

2. Metodologia: Framework SKG-VLA

A solução proposta, SKG-VLA, trata cada caso de reclamação como uma "cena de reclamação" e utiliza um Grafo de Conhecimento de Cena (SKG) como representação central. A metodologia consiste em três componentes principais:

A. Representação do Grafo de Conhecimento de Cena (SKG)
O SKG modela um caso de reclamação como um grafo unificado $G = (V, E, A)$ onde:

• Nós ($V$): Incluem entidades de reclamação, itens de evidência, cláusulas de política, eventos temporais, estados transacionais e nós de decisão.
• Relações ($E$): Relações tipadas conectando as entidades acima.
• Atributos ($A$): Atributos específicos de cada nó.
  Os autores dividem os nós em categorias fortemente acopladas (críticas para a direção da decisão, por exemplo, status do pedido, cláusulas de política) e fracamente acopladas (detalhes periféricos) para orientar a generalização do grafo.

B. Pipeline de Síntese de Dados
Para superar a falta de conjuntos de dados com estrutura de cena explícita e supervisão de ação auditável, os autores constroem um conjunto de dados em larga escala por meio de um pipeline de três estágios:

1. Geração: Um analisador baseado em LLM converte evidências multimodais brutas ($X = \{x_{text}, x_{img}, x_{meta}, x_{hist}, x_{rule}\}$) em um SKG inicial ($G_0$), descrição de cena estruturada ($D_0$) e par de perguntas e respostas ($Q_0$).
2. Verificação: Um loop iterativo verifica a consistência entre o grafo, a evidência e a política, refinando as saídas ($G_k, D_k, Q_k$) até a convergência.
3. Generalização: Edições de grafo restritas por regras ($\Phi$) são aplicadas para expandir o espaço de cena, gerando variantes consistentes com as regras que modificam a suficiência da evidência ou os estágios do serviço, mantendo a validade lógica.

C. Estratégia de Treinamento em Três Estágios
O framework injeta priors de cena estruturada em um modelo de decisão multimodal por meio de:

1. Pré-treinamento Adaptativo ao Domínio: Adapta o modelo de linguagem às semânticas do domínio de reclamações usando descrições de cena geradas e dados de perguntas e respostas.
2. Ajuste Fino Orientado a Tarefas: Treina o modelo para responder a perguntas relacionadas à cena e emitir decisões fundamentadas em políticas.
3. Alinhamento Multimodal de Ponta a Ponta: Conecta o modelo de linguagem ajustado finamente com um codificador visual e um projetor de metadados para consumir evidências multimodais brutas diretamente.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Reformulação da Tarefa: Definir o tratamento de reclamações multimodais como um problema de raciocínio de cena estruturada e introduzir Grafos de Conhecimento de Cena como priors explícitos para compreensão, fundamentação em políticas e recomendação de ações.
2. Framework de Síntese de Dados: Um pipeline que gera descrições de cena de reclamação, generalizações de grafo consistentes com regras, supervisão de perguntas e respostas e recomendações de decisão a partir de evidências multimodais.
3. Novo Conjunto de Dados e Benchmarks: Construção de um conjunto de dados em larga escala (183.642 casos base expandidos para 1,43 milhão de SKGs) e duas suites de avaliação in-domain:
   • ComplaintScene-Text: Um benchmark apenas de texto focado em raciocínio fundamentado em políticas.
   • ComplaintScene-MM: Um benchmark multimodal que avalia o raciocínio completo de cena em configurações realistas ricas em evidências.
4. Pipeline de Treinamento: Uma estratégia de três estágios que transfere progressivamente priors de cena estruturada para um modelo multimodal, melhorando a interpretabilidade, robustez e consistência de políticas.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando backbones Qwen2.5 (0,5B, 1,5B, 3B) e comparados contra baselines multimodais de propósito geral oficiais (por exemplo, Qwen2.5-VL-3B-Instruct).

• Desempenho In-Domain: O SKG-VLA superou consistentemente as baselines em todas as escalas de modelo. No benchmark ComplaintScene-MM, o modelo SKG-VLA de 3B alcançou uma pontuação média de 84,48, superando o Qwen2.5-VL-3B-Instruct oficial (80,88) e a baseline multimodal sem priors de SKG (82,17). Os ganhos foram mais significativos em Atribuição de Responsabilidade e Previsão de Resolução, as tarefas de decisão mais complexas.
• Fundamentação em Políticas: O modelo demonstrou superior Consistência de Política (84,02% para SKG-VLA de 3B versus 75,61% para a baseline genérica), indicando melhor adesão às regras do domínio.
• Generalização: O SKG-VLA demonstrou desempenho mais forte em cenários de reclamação de Tipo Raro (77,46% versus 69,84% para a baseline), sugerindo que os priors estruturados ajudam o modelo a extrapolar além de modelos frequentes.
• Robustez: Sob corrupção de evidências (30% de dados ausentes), o SKG-VLA degradou-se de forma mais graciosa do que as baselines, mantendo maior precisão. Isso indica que as decisões são estabilizadas por semânticas em nível de grafo, em vez de dependerem exclusivamente de pistas visuais locais.
• Aprendizado por Transferência: Embora a baseline genérica mantivesse uma leve vantagem em tarefas amplas de transferência (SIMMC 2.0, DocVQA), o SKG-VLA permaneceu competitivo enquanto superava significativamente em tarefas específicas de reclamação.

Estudos de Ablação confirmaram que a estrutura explícita do grafo SKG forneceu o maior ganho de desempenho, seguido pelos nós de política e pela generalização de grafo consistente com regras.

5. Significado e Alegações

O artigo afirma que o SKG-VLA aborda uma lacuna crítica no suporte à decisão automatizada, avançando além da correspondência de nível superficial para o raciocínio de cena estruturada.

• Consistência de Política: O significado primário reside na capacidade de gerar decisões que são auditáveis e estritamente consistentes com as políticas da plataforma, um requisito frequentemente negligenciado por modelos multimodais de propósito geral.
• Tratamento de Evidências Incompletas: O framework é particularmente eficaz em cenários de "cauda longa" e "evidências incompletas", que são comuns em sistemas operacionais do mundo real, onde capturas de tela podem estar ausentes ou metadados incompletos. O SKG fornece uma estrutura de suporte que permite ao modelo raciocinar mesmo quando evidências específicas estão ausentes.
• Interpretabilidade: Ao organizar entidades e relações em um grafo, o sistema oferece um caminho de raciocínio mais interpretável em comparação com a classificação de caixa preta, facilitando uma melhor supervisão humana.

Os autores concluem que, embora os modelos multimodais gerais sejam poderosos, eles requerem priors estruturais específicos do domínio (como SKGs) para lidar de forma eficaz com a natureza restrita por regras e dependente de evidências da tomada de decisão em reclamações.