SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

O artigo apresenta o SGG-R³, um framework de raciocínio estruturado que combina ajuste fino supervisionado com aumento de relações e aprendizado por reforço com otimização de política de sequência em grupo, para gerar gráficos de cena completos e não enviesados, superando os desafios de distribuição de cauda longa e esparsidade de relações.

O essencial

Imagine que você está olhando para uma foto de uma rua movimentada. Um Sistema de Geração de Grafos de Cena (SGG) é como um detetive que tenta descrever não apenas o que está na foto, mas como tudo se conecta. Ele não diz apenas "há um carro e uma pessoa". Ele diz: "O carro está estacionado em a rua, e a pessoa está caminhando em a calçada".

O problema é que, até agora, esses "detetives" (os modelos de IA) eram um pouco desajeitados. Eles tendiam a:

1. Esquecer detalhes: Focar apenas no que é comum (como "carro em rua") e ignorar coisas raras (como "gato em telhado").
2. Alucinar: Inventar conexões que não existem.
3. Pular etapas: Tentar adivinhar tudo de uma vez, sem pensar passo a passo.

A nova pesquisa, chamada SGG-R3, apresenta um novo método para ensinar a IA a ser um detetive muito mais inteligente e justo. Vamos entender como funciona usando uma analogia de uma cozinha de restaurante de alta gastronomia.

1. O Problema: A Cozinha Caótica

Antes, a IA tentava cozinhar o prato inteiro (o grafo da cena) de uma vez só, sem receita. Como os ingredientes (dados de treinamento) eram escassos para pratos raros (relações longas), ela só fazia o básico e repetia muito.

2. A Solução: O Chef SGG-R3

Os autores criaram um novo "Chef" (o modelo SGG-R3) que segue um processo rigoroso em três etapas, como se fosse uma receita de cozinha bem estruturada.

Etapa 1: O Menu (Detecção de Categorias)

Em vez de tentar adivinhar todos os objetos de uma vez, o Chef primeiro olha para a mesa e diz: "Ok, hoje vamos cozinhar apenas com: pessoas, carros e árvores."

• Por que isso ajuda? Isso evita que a IA tente inventar objetos que não existem (alucinações) e foca a energia no que realmente está na foto.

Etapa 2: A Preparação (Ancoragem de Instâncias)

Agora que sabemos que vamos usar "pessoas", o Chef não diz apenas "tem uma pessoa". Ele diz: "Tem a Pessoa 1 aqui, a Pessoa 2 ali, e a Pessoa 3 acolá".

• A mágica: Ele localiza cada um individualmente antes de pensar em como eles interagem. É como preparar cada ingrediente separadamente antes de montar o prato.

Etapa 3: O Montagem (Extração de Relações)

Aqui, o Chef conecta os ingredientes. Mas ele não faz isso de qualquer jeito. Ele segue três tipos de conexões:

1. Espaciais: Onde está? (Ex: O carro está em cima de a rua).
2. Posse: De quem é? (Ex: A casa tem uma janela).
3. Interação: O que estão fazendo? (Ex: O homem está usando o celular).

3. Os Dois Segredos do Chef (Técnicas Avançadas)

Para que esse Chef seja perfeito, eles usaram duas ferramentas mágicas:

A. O "Estagiário Criativo" (Augmentation de Relações)

Imagine que você tem um livro de receitas, mas só tem 5 receitas de "pizza" e nenhuma de "sushi". O Chef ficaria ruim em fazer sushi.

• O que eles fizeram: Eles usaram um "Estagiário" (um modelo de IA gigante chamado Qwen) para criar novas receitas de sushi baseadas nas poucas que existiam.
• O Filtro de Qualidade: Antes de usar essas novas receitas, eles as passaram por um "filtro de cheiro" (similaridade de embeddings). Se a nova receita de sushi parecia muito estranha ou não fazia sentido, eles jogavam fora. Isso encheu o livro de receitas com mais variedade, ensinando o Chef a lidar com pratos raros.

B. O "Garfo de Ouro" (Recompensa de Dupla Granularidade)

Durante o treinamento, a IA precisa de feedback. Se ela errar, o garçom (o sistema de recompensa) deve dizer o que fazer.

• O problema antigo: O garçom só dizia "está certo" ou "está errado".
• O novo Garfo de Ouro:
  1. Precisão Fina: Se você acertou o prato exato que pediu, ganha pontos extras.
  2. Cobertura Geral: Se você pediu "sushi" e trouxe um "temaki" (que é parecido, mas não é exatamente o pedido), o garçom ainda dá pontos! Isso ensina a IA a não ter medo de tentar coisas novas e raras, evitando que ela fique presa apenas no que é comum.

4. O Resultado: Um Prato Perfeito

Quando colocaram esse novo Chef à prova em duas cozinhas famosas (os conjuntos de dados VG150 e PSG), o resultado foi incrível:

• Ele encontrou mais objetos (menos esquecimentos).
• Ele criou mais conexões raras (menos viés).
• Ele foi capaz de descrever cenas que nunca viu antes (generalização).

Resumo em uma frase

O SGG-R3 é como ensinar uma IA a olhar para uma foto não como um robô que chuta, mas como um detetive organizado que primeiro lista quem está na cena, depois localiza cada um com precisão, e finalmente conecta as histórias entre eles, usando uma "receita" que foi enriquecida com exemplos criativos e corrigida por um sistema de feedback inteligente.

Isso permite que a IA entenda o mundo visual de forma mais completa, justa e detalhada, abrindo portas para assistentes virtuais mais inteligentes e carros autônomos que entendem melhor o que está acontecendo ao seu redor.

Resumo técnico

Título: SGG-R3: Da Previsão do Próximo Token à Geração de Gráficos de Cena Sem Viés de Ponta a Ponta

1. Problema e Motivação

A Geração de Gráficos de Cena (Scene Graph Generation - SGG) visa estruturar cenas visuais em grafos que representam objetos e suas relações. Embora os Modelos de Linguagem Multimodal (MLLMs) tenham avançado na geração de SGG de ponta a ponta, os métodos atuais enfrentam dois desafios críticos:

1. Falta de Raciocínio Estruturado: A ausência de um pipeline de raciocínio específico para a tarefa força os modelos a navegar em um espaço de busca excessivamente vasto, resultando em alucinações, baixa recall (recuperação) e previsões incompletas.
2. Distribuição Esparsa e Longa Cauda (Long-tail): Os dados de relações são inerentemente esparsos e seguem uma distribuição de longa cauda (poucas relações frequentes e muitas raras). Isso leva os modelos a serem enviesados para relações frequentes, falhando em generalizar para conceitos não vistos ou relações raras.

Os métodos tradicionais (baseados em duas etapas: detecção + predição) sofrem com propagação de erros, enquanto as abordagens generativas atuais (MLLMs) carecem de controle lógico e sofrem com o viés de dados.

2. Metodologia: O Framework SGG-R3

O SGG-R3 é um framework de raciocínio estruturado que integra Ajuste Fino Supervisionado (SFT) guiado por Chain-of-Thought (CoT) e Aprendizado por Reforço (RL) com Otimização de Política de Sequência em Grupo (GSPO). O processo é dividido em três etapas sequenciais para garantir coerência lógica:

A. Três Estágios de Raciocínio Estruturado

Ao invés de gerar o gráfico de cena de uma só vez, o modelo é treinado para seguir um fluxo estrito:

1. Detecção de Categoria de Objeto: Identifica apenas as categorias presentes na imagem, reduzindo o espaço de busca.
2. Ancoragem de Instâncias (Instance Grounding): Localiza e delimita (bounding boxes) todas as instâncias de cada categoria identificada, sequencialmente.
3. Extração de Relações Multi-tipo: Extrai tripletas (sujeito, predicado, objeto) baseadas em três tipos semânticos de predicados (ex: espaciais, possessivos e interativos), seguindo a ordem das instâncias localizadas.

• Formato: A saída é padronizada em JSON dentro de tags dedicadas (<CATEGORY>, <OBJECT>, <RELATION>), garantindo integridade estrutural.

B. Aumento de Relações (Relation Augmentation - RA)

Para mitigar a esparsidade dos dados durante o SFT:

• Utiliza-se um MLLM (Qwen2.5-VL-32B) para gerar relações candidatas baseadas em descrições de cena e entidades de ground-truth.
• Filtragem Semântica: As tripletas geradas são filtradas calculando a similaridade cosseno entre os embeddings (via Sentence-BERT) das relações geradas e as do conjunto de dados original. Apenas relações com similaridade acima de um limiar são mantidas, garantindo alinhamento semântico e qualidade.

C. Recompensa de Dupla Granularidade (Dual-Granularity Reward - DGR)

Durante a fase de RL, um esquema de recompensa inovador é aplicado para otimizar o raciocínio e mitigar o viés de longa cauda:

1. Recompensa de Alta Granularidade (Fine-grained): Avalia a precisão exata das tripletas. Utiliza um peso adaptativo baseado na frequência dos predicados: predicados raros (cauda longa) recebem pesos maiores para incentivar sua predição.
2. Recompensa de Baixa Granularidade (Coarse-grained): Utiliza agrupamento semântico (DBSCAN) para criar protótipos de relações. O modelo é recompensado se gerar relações semanticamente próximas aos clusters de ground-truth, mesmo que não haja correspondência exata de sujeito/objeto. Isso melhora a cobertura de relações e a generalização.

D. Otimização de Política (GSPO)

O framework utiliza Group Sequence Policy Optimization (GSPO) em vez de amostragem token-a-token. Isso estabiliza o treinamento em RL para saídas longas e estruturadas (JSON), reduzindo o ruído de variância e melhorando a robustez na geração de sequências complexas.

3. Principais Contribuições

1. Framework de Raciocínio Estruturado: Propõe um pipeline de três etapas (Categoria -> Instância -> Relação) que decomõe a geração complexa em passos lógicos, melhorando a coerência e o controle.
2. Estratégias de Mitigação de Viés:
   • RA: Aumenta a densidade e diversidade dos dados de treinamento para o SFT.
   • DGR: Combina ponderação por frequência e agrupamento semântico no RL para resolver o problema da distribuição de longa cauda e melhorar a recall de relações raras.
3. Desempenho Superior: Demonstra que a combinação de CoT, RA e RL supera significativamente os métodos baseados em classificação tradicional e outras abordagens de MLLM.

4. Resultados Experimentais

O método foi avaliado nos benchmarks VG150 e PSG, utilizando o modelo base Qwen2.5-VL-3B.

• Desempenho Geral: O SGG-R3 (SFT + RL) alcançou o melhor desempenho entre métodos baseados em VLMs em ambas as bases de dados.
  • No VG150: Alcançou 36.0% de Recall e 14.8% de mRecall (superior a métodos anteriores como R1-SGG).
  • No PSG: Alcançou 52.5% de Recall e 44.3% de mRecall, superando tanto métodos não-VLM quanto VLMs.
• Generalização (Zero-Shot): O modelo demonstrou superioridade em zsRecall (Recall Zero-Shot), indicando uma forte capacidade de generalizar para relações não vistas durante o treinamento, superando todos os modelos não-VLM.
• Ablação:
  • A Aumento de Relações (RA) foi crucial para melhorar a performance em predicados de "corpo" e "cauda", especialmente no RL.
  • A Recompensa de Dupla Granularidade (DGR) melhorou consistentemente a Recall e mRecall, mitigando o viés de longa cauda.
• Qualidade: Visualizações qualitativas mostram que o SGG-R3 reduz alucinações, detecta mais objetos (incluindo não anotados) e gera gráficos de cena mais densos e semanticamente ricos comparado a baselines como R1-SGG.

5. Significância e Conclusão

O SGG-R3 representa um avanço significativo na interseção entre Visão Computacional e Processamento de Linguagem Natural. Ao transformar a geração de gráficos de cena de uma tarefa de "previsão do próximo token" desorganizada para um processo de raciocínio estruturado e guiado, o trabalho resolve problemas fundamentais de viés e esparsidade.

A abordagem demonstra que:

1. A decomposição da tarefa em etapas cognitivas claras (CoT) é essencial para a precisão em tarefas densas.
2. O uso inteligente de dados aumentados e recompensas adaptativas pode superar as limitações de dados de treinamento desbalanceados.
3. Modelos multimodais, quando adequadamente refinados com RL estruturado, podem superar métodos especializados tradicionais em tarefas de compreensão de cena complexa.

Este trabalho abre caminho para aplicações downstream mais robustas, como navegação em robótica, busca de imagens e resposta a perguntas visuais, onde a compreensão precisa e completa das relações no ambiente é crítica.