Resumo Técnico: SPARK (Autojogo com Recompensa Assimétrica a partir de Grafos de Conhecimento)

1. Declaração do Problema

O aprendizado por reforço (RL) de autojogo demonstrou sucesso em domínios com estruturas formalmente verificáveis, como matemática e programação, onde a geração de problemas e o cálculo de recompensas dependem de regras explícitas. No entanto, estender esse paradigma para a literatura científica é desafiador. A compreensão científica exige raciocínio relacional entre elementos multimodais (texto, figuras, tabelas, equações) e entre múltiplos documentos.

Quando a literatura científica é serializada em texto plano, a estrutura relacional é destruída. Isso cria dois gargalos fundamentais para o autojogo em corpus plano:

1. Geração de Problemas: O espaço de perguntas geráveis fica confinado à extração de fatos de nível superficial. A geração automática de perguntas de raciocínio relacional é estruturalmente inviável sem uma representação explícita de como elementos multimodais e conceitos entre documentos se conectam.
2. Cálculo de Recompensa: Sem uma estrutura de verdade fundamental explícita, é difícil distinguir raciocínio estruturalmente sólido de respostas incorretas que soam plausíveis. Os sinais de recompensa tornam-se pouco confiáveis quando as respostas estão dispersas em texto não estruturado.

2. Metodologia: Framework SPARK

O SPARK aborda esses gargalos construindo um Grafo de Conhecimento (KG) unificado a partir de documentos científicos e utilizando-o como espinha dorsal estrutural para um loop de autojogo. O framework consiste em duas fases:

Fase 1: Construção Automática de KG Multimodal

O sistema constrói um KG ($G = (V, E)$) por meio de um pipeline de três estágios, sem anotação manual:

• Estágio 1 (Grafo Estrutural): Recupera a hierarquia física (por exemplo, contenção seção-parágrafo, adjacência figura-legenda) via análise baseada em regras.
• Estágio 2 (Grafo de Referência): Extrai conexões intermodais pretendidas pelo autor (por exemplo, "Como mostrado na Figura 3") usando correspondência de padrões de expressões regulares para vincular afirmações textuais a elementos visuais.
• Estágio 3 (Grafo de Relação Semântica): Utiliza um Modelo Visão-Linguagem (VLM) para classificar relações semânticas (por exemplo, SUPPORTS, CONTRADICTS, DERIVES_FROM) entre unidades de conteúdo com base na similaridade de embeddings.
• Federação entre Documentos: Conecta nós de conceito entre diferentes artigos usando uma aresta SAME_CONCEPT se sua similaridade de embeddings exceder um limiar. Isso permite caminhos de raciocínio multi-hop que abrangem múltiplos documentos.

Fase 2: Loop de Autojogo Fundamentado em KG

Um único Modelo Visão-Linguagem pequeno (sVLM), denotado como $\pi_\theta$, alterna entre dois papéis sob assimetria de informação:

• Propositor: Tem acesso ao KG. Ele amostra um caminho de raciocínio $P$ do grafo e gera uma pergunta de raciocínio relacional $q$ e uma resposta de referência $a^*$ (derivada do nó terminal do caminho).
• Resolvedor: Não tem acesso ao KG ou ao caminho $P$. Ele recebe apenas a pergunta $q$ e deve gerar uma resposta $\hat{a}$.

Função de Recompensa

O objetivo de aprendizado utiliza um sinal de recompensa verificado pelo KG, $R_G$, que se decompõe em três componentes, garantindo que a recompensa esteja fundamentada na estrutura do grafo e não apenas na correspondência de respostas:

1. $R_{answer}$: Mede a correção semântica entre a resposta gerada e a resposta de referência.
2. $R_{path}$ (Fidelidade do Caminho): Verifica se o caminho de raciocínio usado para gerar a pergunta consiste em arestas válidas no KG. Este termo é exclusivo do SPARK e garante que a pergunta esteja fundamentada em relações estruturalmente significativas.
3. $R_{consistency}$ (Consistência Factual): Verifica se valores numéricos e conceitos-chave na resposta correspondem a fatos armazenados nos nós do KG ao longo do caminho de raciocínio, penalizando alucinações.

O modelo é atualizado via otimização de gradiente de política (usando LoRA), onde pares de respostas de alta e baixa recompensa orientam a aprendizagem. Além disso, o KG passa por refinamento: arestas ausentes são adicionadas se o resolvedor tiver sucesso em caminhos implícitos, e arestas espúrias são podadas se levarem a respostas incorretas.

3. Principais Contribuições

1. Um Framework de Autojogo Fundamentado em KG: O SPARK aproveita um KG fixo para satisfazer simultaneamente as duas condições para autojogo bem-sucedido em literatura científica: geração automática de problemas de raciocínio relacional de alta qualidade e cálculo de recompensa verificável. Ele introduz uma recompensa de fidelidade do caminho ($R_{path}$) que visa diretamente o raciocínio multi-hop, o qual métodos de corpus plano não conseguem supervisionar.
2. Um Pipeline de Construção de KG Multimodal em Três Estágios: Um pipeline que extrai automaticamente relações estruturais, de referência e semânticas de documentos científicos brutos (texto, figuras, tabelas, equações) para construir um KG unificado. Inclui um mecanismo de Federação entre Documentos para permitir raciocínio além das fronteiras dos artigos.
3. Um Benchmark de QA Multi-Hop entre Documentos: Um novo conjunto de dados com 450 perguntas derivadas de 50 artigos do arXiv, projetado para medir capacidades de raciocínio relacional multi-hop entre documentos que benchmarks existentes (por exemplo, ScienceQA, DocVQA) não conseguem avaliar.

4. Resultados Experimentais

Os autores avaliaram o SPARK usando um modelo base Qwen3-VL-4B contra baselines incluindo modelos vanilla, apenas SFT e uma baseline de autojogo em corpus plano (SPIN sem recompensas de KG).

• Benchmarks Públicos: O SPARK superou consistentemente as baselines de autojogo em corpus plano no ScienceQA, DocVQA e ChartQA. Os resultados sugerem que a melhoria é atribuível ao treinamento fundamentado em KG e não apenas à capacidade do modelo base.
• QA Multi-Hop entre Documentos: No conjunto de dados autoconstruído, o SPARK demonstrou uma lacuna de desempenho crescente à medida que a contagem de hops aumentava (de 1-hop a 3-hop).
  • Modelos vanilla mostraram uma queda acentuada no desempenho à medida que a contagem de hops aumentava.
  • O SPARK degradou-se de forma mais gradual, indicando que a fundamentação na estrutura do KG melhora especificamente o raciocínio relacional multi-hop além da extração de fatos de nível superficial.
  • O SPARK mostrou melhorias significativas no F1 de Caminho, confirmando que o modelo aprende a percorrer caminhos relacionais do KG pretendidos, ao passo que a baseline de corpus plano não o fez.
• Estudo de Ablação: A remoção de recompensas baseadas em KG ($R_{path}$ e $R_{consistency}$) resultou em desempenho comparável ao SFT/DPO, confirmando que as vantagens estruturais do autojogo não se materializam sem o sinal de recompensa do KG. Verificou-se que $R_{path}$ foi o principal motor para a precisão entre documentos e a fidelidade do caminho.

5. Significado e Alegações

O artigo alega que o SPARK aborda as barreiras fundamentais de estender o autojogo a domínios que carecem de estruturas formalmente verificáveis. Ao tratar documentos não como texto plano, mas como ambientes relacionais estruturados, o SPARK permite uma forma de autoaperfeiçoamento que métodos de corpus plano não conseguem alcançar.

A ideia central é que um KG construído automaticamente restaura as duas condições necessárias para o autojogo: uma fonte para gerar problemas relacionais e uma base para recompensas verificáveis. Por meio da assimetria de informação entre o Propositor (consciente do KG) e o Resolvedor (alheio ao KG), o modelo internaliza não apenas fatos, mas a estrutura relacional que conecta conceitos, metodologias e achados experimentais em todo o corpus. Os autores postulam que essa abordagem abre uma nova direção para o treinamento de modelos de raciocínio científico sem anotação, com princípios aplicáveis a qualquer domínio contendo conhecimento relacional estruturado implícito (por exemplo, documentos jurídicos ou médicos).