Resumo Técnico: AlignG – Aprendizado de Semântica de Predicados Condicionada ao Contexto via Feedback de Protótipos

1. Declaração do Problema

A Geração de Grafos de Cena (SGG) visa representar imagens como grafos estruturados de objetos e suas relações semânticas. Um desafio fundamental neste domínio é modelar predicados polissêmicos, onde o significado de um rótulo (por exemplo, "em cima de", "montando") muda dependendo do contexto visual específico. Por exemplo, uma pessoa em pé sobre esquis sem movimento está "em cima deles", enquanto uma pessoa descendo uma encosta está "montando-os", apesar de aparências visuais semelhantes.

Abordagens existentes tentam resolver isso por meio de:

• Protótipos Estáticos: Atribuição de um único protótipo fixo por predicado (por exemplo, PE-Net).
• Decomposição em Múltiplos Protótipos: Divisão de predicados em múltiplos sub-protótipos estáticos (por exemplo, C-SGG).
• Recuperação/Conhecimento Externo: Uso de exemplos externos ou Modelos de Linguagem de Grande Porte (LLMs) para desambiguação.

No entanto, esses métodos sofrem de uma limitação crítica: as representações de predicados permanecem estáticas. Elas não podem reorganizar a semântica para refletir evidências específicas da imagem durante a inferência. Âncoras fixas falham em adaptar-se a nuances contextuais, levando a confusões sistemáticas em cenas ambíguas onde recursos visuais isolados são insuficientes para distinguir entre contato espacial e uso funcional.

2. Metodologia: AlignG

Os autores propõem o AlignG, um framework de aprendizado com feedback de protótipos que conecta a semântica global de predicados ao contexto relacional específico da imagem. Diferentemente de trabalhos anteriores que tratam protótipos como âncoras fixas, o AlignG os trata como variáveis condicionadas ao contexto que se adaptam dinamicamente com base em pistas relacionais dentro de cada imagem.

O framework opera por meio de um processo de refinamento em duas etapas:

Etapa 1: Contextualização de Protótipos de Predicados

Em vez de usar protótipos estáticos, o AlignG atualiza-os incrementalmente usando evidências relacionais da imagem atual.

• Mecanismo: Agrega embeddings de relação para cada protótipo via atenção cruzada ponderada por compatibilidade. Este mecanismo avalia a compatibilidade entre um protótipo global e todos os candidatos a relação na imagem, atribuindo pesos mais altos aos mais relevantes.
• Regra de Atualização: O sinal contextual resultante é alimentado em uma célula de Unidade Recorrente com Portão (GRU) juntamente com o protótipo estático normalizado. Isso produz um protótipo refinado específico da imagem $p^{(I)}_r$.
• Objetivo: Isso permite que os protótipos evoluam com evidências locais, mantendo estabilidade dentro do espaço semântico global, prevenindo deriva semântica abrupta.

Etapa 2: Recalibração de Embeddings de Relação

Uma vez que os protótipos são adaptados, eles são usados para refinar os embeddings de relação.

• Mecanismo: Um mecanismo de atenção cruzada reversa propaga os protótipos adaptados de volta aos candidatos a relação. Isso determina o quanto cada protótipo adaptado contribui para refinar um embedding de relação específico.
• Recalibração: O embedding de relação bruto é fundido com o sinal de feedback informado pelo protótipo por meio de uma rede de projeção.
• Objetivo: Este ajuste de etapa única garante que as representações de relação sejam flexíveis à variação local, mas consistentes com a semântica global.

Objetivos de Treinamento

A otimização segue três perdas principais:

1. Perda de Classificação ($L_{cls}$): Entropia cruzada padrão para previsão de predicados.
2. Perda de Regularização ($L_{reg}$): Impõe diversidade entre os protótipos e previne redundância (penalidade de similaridade e margem de diversidade).
3. Perda de Alinhamento ($L_{align}$): Uma perda contrastiva que aproxima os embeddings de relação recalibrados de seus protótipos globais estáticos (não dos adaptados) e os afasta de negativos confusos.
   • Escolha de Design Crucial: Ancorar a perda aos protótipos estáticos previne a co-adaptação trivial entre relações e protótipos dentro de uma única imagem, garantindo que o classificador permaneça fundamentado em centros semânticos agnósticos à imagem.

3. Contribuições Principais

1. Reformulação do Aprendizado de Predicados: O artigo muda o paradigma do aprendizado de protótipos estáticos para adaptação condicionada à imagem, tratando a semântica de predicados como variáveis dinâmicas responsivas a evidências relacionais.
2. Framework AlignG: Introdução de um mecanismo de feedback de protótipos em duas etapas que:
   • Adapta protótipos a evidências específicas da imagem.
   • Recalibra características de relação sob esses protótipos adaptados.
   • Preserva a coerência semântica global através de ancoragem estática na função de perda.
3. Validação Empírica: Demonstração de desempenho state-of-the-art em benchmarks padrão, apoiada por visualizações mostrando reorganização coerente e dependente do contexto da semântica de predicados.

4. Resultados Experimentais

O modelo foi avaliado em VG-150 e GQA-200 sob três configurações: Classificação de Predicados (PredCls), Classificação de Grafos de Cena (SGCls) e Detecção de Grafos de Cena (SGDet).

• Desempenho no VG-150:

  • Sob SGDet, o AlignG alcançou um F@100 de 23,8, uma melhoria de +1,4 sobre o melhor anterior (MCL).
  • Alcançou a maior Média de Recall (mR@100) em todas as configurações (42,6 em PredCls, 26,1 em SGCls, 19,7 em SGDet).
  • Comparado ao backbone PE-Net, o AlignG mostrou ganhos substanciais em mR@100 (+8,8, +7,2, +5,2 respectivamente), confirmando que as melhorias derivam do mecanismo de feedback e não da expansão de conceitos.

• Desempenho no GQA-200:

  • O AlignG alcançou um F@100 de 19,5 em SGDet, uma melhoria de +2,7 sobre a linha de base.
  • Demonstrou melhorias consistentes em mR@100 (+10,8 sobre o PE-Net), equilibrando efetivamente a precisão global e a justiça em distribuições de cauda longa.

• Ablação e Análise:

  • Análise de Componentes: Substituir a concatenação simples por um atualizador baseado em GRU melhorou consistentemente o desempenho, particularmente no Recall Médio.
  • Análise de Confusão: O AlignG resolveu entre 11,5% e 42,6% dos erros cometidos pelo PE-Net em pares de negativos difíceis (por exemplo, distinguir "deitado em cima de" vs. "deitado sobre").
  • Sobrecarga Computacional: O método adiciona custo computacional mínimo (+7,05G FLOPs, +0,03s/iter) mantendo velocidades de inferência em tempo real (>30 FPS).

5. Significado e Alegações

O artigo afirma que coerência semântica e flexibilidade contextual podem coexistir dentro de uma estrutura unificada. Ao integrar adaptabilidade diretamente nas representações de predicados, o AlignG demonstra que protótipos estáticos (fornecendo estabilidade) e adaptação específica à imagem (capturando evidências da cena) podem operar como mecanismos complementares.

Os autores enfatizam que sua abordagem:

• Refina Predicados Ambíguos: Funde ou separa seletivamente semânticas de predicados com base em evidências da cena, conforme visualizado em mapas de calor de similaridade de protótipos por imagem.
• Evita Deriva Semântica: O uso de protótipos estáticos na perda de alinhamento ancora o modelo a centros semânticos globais, impedindo que o modelo derive para artefatos locais ou detecções ruidosas.
• Generalizabilidade: Embora validado em benchmarks baseados em imagens, os autores sugerem que o princípio de adaptação condicionada ao contexto poderia se estender a configurações sequenciais como compreensão de vídeo, onde semânticas relacionais mudam ao longo do tempo.

O artigo conclui com uma declaração modesta de impacto, reconhecendo que, embora o método avance a SGG, ele herda vieses de anotação dos conjuntos de dados de treinamento. Eles recomendam validação em distribuições-alvo e supervisão humana para aplicações sensíveis à segurança.