Resumo Técnico: Text2Cypher-Hub

Declaração do Problema

Grafos de propriedades (PGs) são cada vez mais utilizados para modelar dados interconectados em diversos domínios, como biomedicina, redes sociais e finanças. No entanto, o acesso eficaz a essas estruturas exige proficiência em linguagens de consulta de grafos, como o Cypher, o que cria uma barreira para especialistas de domínio. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na tarefa de Text2Cypher (traduzir perguntas em linguagem natural para consultas Cypher executáveis), o progresso é dificultado por dois problemas primários:

1. Falta de Benchmarks de Alta Qualidade: Os conjuntos de dados existentes são frequentemente gerados via templates, síntese assistida por LLM ou agregação de fontes heterogêneas. Esses métodos frequentemente falham em capturar necessidades de informação de domínio realistas, garantir correção semântica ou cobrir sistematicamente os esquemas de grafos.
2. Ecossistema Fragmentado: Recursos (datasets, snapshots de grafos, código, modelos e scripts de avaliação) são lançados de forma independente sem um framework comum. Essa fragmentação torna difícil a reprodução de resultados e a comparação de metodologias.

Metodologia

A Plataforma Text2Cypher-Hub

Os autores apresentam o Text2Cypher-Hub, uma plataforma impulsionada pela comunidade projetada para padronizar a disseminação e descoberta de recursos de Text2Cypher. Em vez de atuar como um repositório centralizado que duplica artefatos, o Hub funciona como um registro. Ele mantém metadados estruturados e links persistentes para recursos hospedados nos repositórios preferidos dos contribuidores (ex: GitHub, Zenodo, Hugging Face).

• Estrutura do Registro: As entradas conectam benchmarks aos seus PGs subjacentes, publicações, código-fonte e resultados de avaliação.
• Assistente de Consulta: A plataforma inclui uma ferramenta para interagir com os PGs registrados. Ela valida consultas Cypher usando o CyVer e suporta consultas em Linguagem Natural (NL) ao recuperar pares NL–Cypher semanticamente similares dos benchmarks para servir como demonstrações de poucos disparos (few-shot) ou para inspeção.

Fluxo de Trabalho de Curadoria de Benchmark

Como contribuição inicial, os autores lançaram três benchmarks curados: bio2C (biomédico), twt2C (redes sociais) e fin2C (financeiro). A construção seguiu um fluxo de trabalho rigoroso de quatro estágios envolvendo três papéis distintos:

1. Desenvolvedor: Inspeciona o esquema do PG e redige perguntas em NL baseadas em necessidades de informação realistas (evitando geração por template). Em seguida, formula as consultas Cypher correspondentes e as atribui a uma de cinco categorias de complexidade: Nó, 1-hop, 2-hop, 3-hop e Avançado (envolvendo agregação, ranking, expressões condicionais, etc.).
2. Especialista em Banco de Dados: Verifica a correção técnica e a executabilidade das consultas Cypher contra o PG alvo, garantindo que os conjuntos de resultados sejam adequados para inspeção manual (limitados a <30 registros).
3. Especialista de Domínio: Avalia independentemente a validade semântica, garantindo que os resultados da consulta abordem corretamente a necessidade de informação expressa na pergunta em NL.

Apenas os pares que passam por ambas as validações, técnica e semântica, são incluídos.

Validação Experimental

Para demonstrar a utilidade desses benchmarks, os autores avaliaram diversos pipelines de Text2Cypher utilizando o GPT-4o/4o-mini da OpenAI e o LLaMA-3.1-8B da Meta.

• Pipelines Testados: O estudo comparou um prompt "Vanilla" (base) contra configurações que incorporam:
  • Esquema (S): O esquema do PG.
  • RAG: Exemplos NL–Cypher recuperados.
  • Saídas de Execução (O): Resultados da execução das consultas recuperadas.
  • Combinações: S+RAG, RAG+O, e S+RAG+O.
• Ajuste Fino (Fine-tuning): Os modelos também foram avaliados em variantes ajustadas (FT) usando as divisões de treinamento dos benchmarks.
• Métricas: O desempenho foi medido usando a Cobertura (Cov), definida como a interseção de resultados entre a consulta de referência (ground-truth) e a consulta gerada, normalizada pelo tamanho do conjunto de resultados da referência.

Principais Contribuições

1. Plataforma Text2Cypher-Hub: Um registro comunitário fornecendo um framework comum para descrever, descobrir e comparar recursos de Text2Cypher, separando a descrição do recurso do armazenamento físico.
2. Três Benchmarks Curados: O lançamento de bio2C (2.500 pares), twt2C (2.500 pares) e fin2C (1.500 pares), totalizando 6.500 pares NL–Cypher validados técnica e semanticamente. Estes cobrem os domínios biomédico, de redes sociais e financeiro com variadas complexidades de esquema e topologias de grafo.
3. Fluxo de Trabalho de Curadoria: Um processo de validação transparente e de múltiplos papéis que garante que os benchmarks capturem necessidades de domínio realistas e estejam livres de artefatos baseados em templates.
4. Avaliação Empírica: Uma avaliação abrangente de estratégias de RAG e ajuste fino (fine-tuning) através de diversos PGs, demonstrando a adequação dos benchmarks para pipelines de ajuste fino supervisionado e geração aumentada por recuperação.

Resultados

• Variabilidade de Desempenho: Nenhuma configuração de contexto única (ex: apenas Esquema, apenas RAG, ou S+RAG+O) foi consistentemente ótima em todos os três benchmarks.
  • bio2C (Biomédico): Os melhores resultados foram alcançados com RAG ou S+RAG+O.
  • twt2C (Redes Sociais): RAG+O teve o melhor desempenho.
  • fin2C (Financeiro): S+RAG gerou as pontuações mais altas.
• Desempenho dos Modelos:
  • GPT-4o Ajustado (GPT4oFT) alcançou a maior cobertura geral: 89,3% (bio2C), 94,3% (twt2C) e 96,7% (fin2C).
  • Modelos Base: Para modelos não ajustados, a combinação de Esquema e exemplos recuperados (S+RAG) foi geralmente mais eficaz. Por exemplo, o GPT-4o base com S+RAG alcançou 96,7% no fin2C, igualando-se ao seu correspondente ajustado.
  • LLaMA-3.1-8B: O modelo de código aberto mostrou desempenho inferior e mais variável. Embora o ajuste fino tenha ajudado, ele não superou consistentemente as configurações base, sugerindo sensibilidade ao contexto do prompt.
• Tamanho do Dataset vs. Qualidade: Apesar de possuir menos pares (1.500) do que os outros dois benchmarks, o fin2C gerou as maiores pontuações de cobertura. Isso sugere que o tamanho do dataset não é o único determinante de desempenho; fatores como qualidade da curadoria manual, cobertura de esquema e complexidade do grafo desempenham papéis significativos.
• Comparação de Baseline: A ferramenta NeoDash mostrou resultados competitivos no twt2C e fin2C, mas desempenho significativamente menor no mais complexo bio2C, destacando a capacidade dos benchmarks de capturar diferentes níveis de dificuldade.

Significância

O artigo posiciona o Text2Cypher-Hub como um passo fundamental para a avaliação reproduzível e o progresso colaborativo no campo de Text2Cypher. Ao fornecer benchmarks de alta qualidade, curados manualmente e um registro padronizado, os autores visam:

• Superar a fragmentação dos recursos atuais.
• Garantir que as perguntas em NL reflitam necessidades de informação de domínio realistas em vez de variações sintéticas.
• Facilitar a comparação justa de metodologias emergentes (prompting, fine-tuning, RAG) através de diversas estruturas de grafos.

Os autores afirmam modestamente que esses recursos estabelecem um framework de referência comum para o desenvolvimento e avaliação de futuras metodologias de Text2Cypher, em vez de alegar resolver a tarefa inteiramente. O trabalho enfatiza a necessidade de curadoria impulsionada pela comunidade para garantir a integridade semântica e técnica dos conjuntos de dados de benchmark.