Resumo Técnico: ChronoQG

Definição do Problema

A Geração de Perguntas em Grafos de Conhecimento (KGQG) visa converter evidências de grafos estruturados em perguntas de linguagem natural. No entanto, os benchmarks existentes de KGQG são predominantemente construídos sobre grafos de conhecimento (KGs) estáticos, onde os fatos são modelados como triplas atemporais. Esses benchmarks falham em codificar escopos temporais (ex: carimbos de data/hora, intervalos de validade), tornando-se incapazes de avaliar se as perguntas geradas preservam fielmente a validade temporal, a ordenação de eventos ou as restrições temporais determinantes da resposta.

A adaptação direta de pipelines de KGQG estáticos para Grafos de Conhecimento Temporais (TKGs) introduz três limitações críticas:

1. Modelagem Temporal Incompleta: As estratégias existentes dependem de operadores grosseiros (ex: antes, depois), falhando em capturar interações mais finas, como sobreposições de intervalos, contatos de fronteira ou dependências entre fatos de ponto e de intervalo.
2. Topologia e Tempo Desacoplados: Os pipelines padrão frequentemente amostram um subgrafo primeiro e anexam frases temporais posteriormente. Isso resulta em condições "pseudo-temporais", onde a remoção da restrição temporal não altera a resposta, falhando em testar o acoplamento entre o raciocínio estrutural e a filtragem temporal.
3. Mudança Semântica na Geração: Métodos baseados em templates produzem perguntas rígidas, enquanto a reescrita por Grandes Modelos de Linguagem (LLMs) frequentemente introduz deriva semântica, alterando vínculos temporais (ex: mudando uma restrição de "sobreposição" para um simples intervalo "entre") ou vazando a resposta.

Metodologia: O Framework ChronoQG

Para abordar essas limitações, os autores propõem o ChronoQG, um framework de construção de benchmark para Geração de Perguntas em Grafos de Conhecimento Temporais (TKGQG). O framework garante que as perguntas geradas sejam fiéis tanto à topologia do subgrafo de suporte quanto às restrições temporais específicas necessárias para identificar a resposta alvo. O processo envolve três componentes principais:

1. Taxonomia Abrangente de Restrições Temporais

O ChronoQG define um espaço de operadores unificado integrando a Álgebra de Intervalos de Allen com a Álgebra de Pontos. Esta taxonomia cobre:

• Intervalo–Intervalo (I–I): 13 relações (ex: sobrepõe, encontra, contém).
• Ponto–Intervalo (P–I) & Intervalo–Ponto (I–P): 5 relações cada (ex: dentro, cobre, no início).
• Ponto–Ponto (P–P): 3 relações (antes, igual a, depois).
• Operadores Ordinais: start_rank, end_rank e duration_rank para ranquear conjuntos de candidatos.
  Esta taxonomia suporta 26 relações pareadas e 3 operadores ordinais, permitindo a amostragem de restrições temporais detalhadas.

2. Amostragem de Subgrafo Topologia-Temporal

Em vez de amostrar um subgrafo e anexar restrições temporais, o ChronoQG realiza um estreitamento progressivo do espaço de candidatos.

• Construção de Semente: Uma semente raiz (entidade âncora + relação) recupera um conjunto inicial de candidatos ($C_0$).
• Templates de Limite de Salto (Hop-Bounded): O sistema seleciona templates topológicos (cadeias de 1 a 3 saltos ou estruturas de ramificação).
• Filtragem Progressiva: O amostrador aplica iterativamente travessias estruturais, filtros estruturais e filtros temporais.
  • Um filtro estrutural adiciona restrições de aresta para reduzir os candidatos.
  • Um filtro temporal aplica uma restrição da taxonomia aos fatos no traço atual.
• Verificação de Necessidade: Uma ação é aceita apenas se ela reduzir o conjunto de candidatos. Isso garante que cada restrição temporal seja necessária para determinar a resposta única final, eliminando condições pseudo-temporais.

3. Geração de Perguntas Baseada em Traço

Uma vez estabelecido um traço de amostragem válido, o ChronoQG gera a pergunta em duas etapas:

• Construção de Template: Um template determinístico é criado a partir do traço, verbalizando explicitamente todas as restrições estruturais e temporais.
• Reescrita Agêntica Guiada por Verificador: Um LLM reescreve o template em linguagem natural fluente. Crucialmente, este processo é guiado por um verificador (selecionado empiricamente como GPT-5-mini) que verifica se a pergunta reescrita, quando aplicada ao subgrafo de suporte, produz a resposta correta (gold answer).
  • Tratamento de Falhas: Se uma reescrita falhar na verificação (devido a deriva semântica ou vazamento de resposta), um agente de revisão tenta corrigir o erro.
  • Filtro de Vazamento de Resposta: Uma varredura final garante que a resposta alvo não seja mencionada explicitamente na pergunta.

Principais Contribuições

1. Benchmark ChronoQG: O primeiro benchmark temporalmente expressivo e com limite de saltos para TKGQG. Ele compreende 16.011 perguntas verificadas derivadas de dois TKGs heterogêneos de origem: CronKG (granularidade de nível de ano) e EventKG (nível de dia, centrado em eventos).
2. Quatro Divisões de Benchmark: O conjunto de dados é organizado em quatro divisões baseadas na origem e complexidade:
   • ChronoQG-Cron-S/M e ChronoQG-Event-S/M (Restrição única vs. Múltiplas restrições).
3. Framework de Construção Inovador: Uma metodologia que acopla o raciocínio topológico com a filtragem temporal para garantir a necessidade da restrição, juntamente com um pipeline de reescrita guiado por verificador para evitar a mudança semântica.
4. Avaliação Abrangente: O artigo avalia métodos representativos de KGQG baseados em LLM e baselines de prompting através de diversos cenários (contagem de restrições, templates topológicos e tipos de restrição).

Resultados Experimentais

Os autores avaliaram vários modelos, incluindo prompting zero-shot/few-shot com LLMs de código fechado (GPT-4o, Gemini) e de código aberto, bem como métodos de KGQG estáticos adaptados (ex: KQG-CoT, SGSH, R2DQG).

• Lacuna de Desempenho: Os métodos existentes lutam significativamente com o TKGQG. Mesmo LLMs fortes apresentam uma degradação substancial de desempenho nos splits de múltiplas restrições em comparação com os de restrição única.
• Dimensões de Dificuldade:
  • Restrições Temporais: Adicionar restrições temporais causa quedas de desempenho comparáveis ao aumento de saltos no grafo. Configurações de múltiplas restrições são particularmente desafiadoras.
  • Tipos de Restrição: O desempenho varia por família de restrição. Relações sensíveis a limites (ex: encontra, inicia) e restrições ordinais são mais difíceis do que relações simples de ordenação.
• Estático vs. Temporal: Métodos de KGQG estáticos adaptados (projetados para triplas atemporais) performam pior do que baselines de prompting direto, indicando que arquiteturas estáticas não lidam naturalmente com validade e vínculo temporal.
• Avaliação Humana: As perguntas geradas alcançaram pontuações altas (>4.5/5) em fluência, fidelidade e capacidade de resposta, confirmando a capacidade do framework de produzir perguntas naturais, porém semanticamente precisas.
• Eficiência de Custo: O prompting direto de LLM foi considerado significativamente mais econômico do que métodos adaptados de múltiplos estágios, ao mesmo tempo em que produz resultados comparáveis ou superiores.

Significância e Alegações

O artigo alega que o ChronoQG estabelece uma lacuna clara entre o KGQG estático e os requisitos da geração de perguntas temporalmente fiéis. Os achados revelam que os métodos atuais, sejam baseados em prompts ou adaptados de pipelines estáticos, falham em preservar de forma confiável as restrições temporais determinantes da resposta, especialmente sob cenários complexos de múltiplas restrições.

Ao fornecer um ambiente de teste diagnóstico e desafiador, o ChronoQG visa:

• Expor as limitações dos modelos atuais no raciocínio sobre conhecimentos temporais complexos.
• Impulsionar o desenvolvimento de métodos projetados especificamente para evidências de grafos com restrições temporais.
• Servir como um benchmark padrão para avaliar a fidelidade da geração de perguntas temporais.

Os autores enfatizam que o framework não apenas estende os benchmarks existentes, mas muda fundamentalmente o paradigma de construção para garantir que as restrições temporais sejam parte integrante do processo de raciocínio, em vez de adições decorativas.