Resumo Técnico: PIPE-Cypher

Declaração do Problema

Os grafos de propriedades empresariais diferem significativamente dos benchmarks públicos em termos de estrutura de esquema, terminologia interna, suposições de domínio, restrições de governança e padrões de interação do usuário. Consequentemente, os conjuntos de dados públicos de Text-to-Cypher falham em avaliar se um modelo consegue lidar com os rótulos, direções de relacionamento, valores e questões operacionais específicos de uma organização. Além disso, conjuntos de dados públicos estáticos não conseguem se adaptar quando os esquemas de produção evoluem.

Criar um benchmark relevante é difícil porque:

1. Unicidade: Esquemas e valores são únicos para cada organização.
2. Dinâmica: Estruturas de grafos mudam ao longo do tempo conforme produtos são lançados e integrações são adicionadas.
3. Requisitos: Cada par de Linguagem Natural (NL) para Cypher deve ser executável, usar entidades de grafos reais, preservar a diversidade e permanecer equilibrado entre tipos de consulta e níveis de dificuldade.
4. Privacidade: Organizações não podem enviar esquemas ou valores sensíveis para APIs de geração pagas.
5. Confiabilidade: Embora modelos locais possam escrever consultas individuais, eles frequentemente falham no ciclo completo de fundamentação (grounding) de valores reais, preservação de direções de relacionamento, prevenção de cláusulas inseguras e equilíbrio de categorias.

Metodologia: Pipeline PIPE-Cypher

O PIPE-Cypher é um pipeline de geração de benchmark local que transforma um grafo de propriedades vivo e consultas semente opcionais (de perguntas de clientes, logs ou chamadas de agentes) em benchmarks de NL-para-Cypher equilibrados e executáveis. Ele opera como um pipeline restrito onde o modelo lida com a linguagem e a geração, enquanto verificações determinísticas de grafos garantem repetibilidade, escalabilidade e auditabilidade.

O pipeline consiste em sete estágios:

1. Perfil de Esquema e Valor: Registra rótulos, tipos de relacionamento, propriedades, direções observadas e valores categóricos de baixa cardinalidade delimitados.
2. Planejamento de Carga de Trabalho: Visa oito categorias operacionais: recuperação simples/complexa, agregação simples/complexa, existência booleana, negação/diferença, caminho/transação temporal e classificação/top-k.
3. Fundamentação Reversa de Cypher (Reverse Cypher Grounding): Executa consultas Cypher de apenas leitura para encontrar valores de slots que realmente produzem linhas. Isso evita a geração de perguntas que parecem plausíveis, mas que não possuem resposta no grafo.
4. Geração Restrita: Utiliza um LLM local (Qwen3.5-9B) para gerar candidatos baseados em templates de carga de trabalho preenchidos por valores de vinculação reversa. Emprega exemplos de recuperação com placeholders para evitar que o modelo memorize valores específicos do locatário (tenant).
5. Governança de Cypher (Portões Determinísticos): Impõe regras estritas antes da aceitação:
   • Segurança de apenas leitura: Bloqueia tokens de escrita/administração.
   • Validade de Esquema: Garante que rótulos, propriedades e valores categóricos existam.
   • Validade de Direção: Verifica as direções de travessia de relacionamento.
   • Normalização: Impõe RETURN DISTINCT e rejeita construtos arriscados (ex: UNION, CALL, UNWIND).
6. Validação de Execução: Executa o Cypher gerado com credenciais de apenas leitura. Verifica erros de sintaxe/tempo de execução e garante resultados não vazios onde necessário.
7. Revisão por Juiz LLM: Um juiz LLM local revisa apenas os candidatos que passaram na execução. Ele avalia ambiguidade, alinhamento semântico e uso de esquema, calibrado contra um pequeno conjunto de rótulos humanos.

Privacidade e Redação: O sistema inclui políticas de amostragem de valores e regras de redação configuráveis. Valores sensíveis em prompts e resultados são substituídos por placeholders estáveis para revisão interna ampla, garantindo que o benchmark possa ser compartilhado sem vazamento de PII (Informações de Identificação Pessoal).

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Fluxo de Trabalho de Modelo Local: Um método para gerar benchmarks privados de NL-para-Cypher a partir do próprio grafo de uma organização sem depender de APIs pagas.
2. Fundamentação e Validação Conscientes de Resultado: Um sistema de fundamentação reversa e validadores específicos de Cypher para segurança de apenas leitura, direção de relacionamento, literais exatos, valores categóricos e reescritas conservadoras.
3. Avaliação de Proxy Público Escalada: Uma avaliação abrangente sobre FinBench, SNB e ICIJ Offshore Leaks, incluindo estudos de ablação, calibração de juiz, auditoria de redação e um estudo de transferência local de 11 modelos.
4. Artefatos de Reprodutibilidade: Ferramentas para integração (onboarding), amostragem de valores, atualização de benchmark, empacotamento de evidências e trilhas de auditoria.

Resultados

Usando o Qwen3.5-9B local para geração e julgamento, o PIPE-Cypher produziu 3.000 exemplos aceitos (2.000 do FinBench, 1.000 do SNB) a partir de 4.925 candidatos.

• Taxa de Aceitação: Aproximadamente 61% no total.
• Cobertura: Alcançou equilíbrio perfeito em todas as 8 categorias de carga de trabalho para ambos os grafos.
• Confiabilidade: Nos estudos de ablação, o pipeline governado atingiu 100% de cobertura alvo para cada célula não restringida, enquanto a geração não restrita falhou em produzir cobertura executável equilibrada.
• Diversidade: Embora a diversidade de assinatura de consulta tenha permanecido baixa devido ao seeding por templates, um seletor governado pela diversidade melhorou a cobertura estrutural, o Distinct-2 e a cobertura de propriedades.
• Calibração do Juiz: Uma auditoria humana post-hoc de 80 linhas mostrou 80% de concordância com o juiz LLM local (Cohen's $\kappa$ = 0.60). O juiz foi conservador, com nenhum falso aceite observado na amostra.

Avaliação Downstream:

• Desempenho Zero-Shot: A transferência zero-shot no conjunto mantido (held-out split) foi fraca, com precisão média de execução variando de 0.000 a 0.203 (média de 0.036).
• Utilidade Few-Shot: Bancos de exemplos específicos de esquema melhoraram o desempenho. Um controle de "sem assinatura" (excluindo correspondências exatas de assinatura de consulta) elevou a precisão média para 0.200, enquanto bancos ordenados da mesma categoria atingiram 0.269.
• Modos de Falha: O benchmark expôs com sucesso falhas semânticas; muitos modelos produziram Cypher sintaticamente válido que executava, mas respondia à pergunta errada (ex: 52,1% dos erros foram incompatibilidades de resposta).

Significância e Alegações

O artigo posiciona o PIPE-Cypher não como um conjunto de dados estático, mas como um fluxo de trabalho empresarial repetível. Sua significância reside em:

• Mudança do Estático para o Dinâmico: Permite que organizações atualizem seus benchmarks conforme seus grafos e cargas de trabalho evoluem, em vez de depender de corpora públicos obsoletos.
• Preservação de Privacidade: Permite o benchmarking em dados privados sem expor valores sensíveis a APIs externas.
• Verdade Executável: Ao tratar a correção como algo a ser verificado via execução e portões determinísticos, em vez de apenas esperada via prompting, o sistema filtra consultas "alucinadas" que parecem corretas, mas falham semanticamente.
• Valor Diagnóstico: O pipeline fornece diagnósticos claros (registros de rejeição, métricas de diversidade, taxonomias de falha) para ajudar as organizações a entender onde seus modelos falham (ex: erros de direção, resultados vazios ou desalinhamento semântico).

Os autores alegam modestamente que, embora o benchmark revele falhas de modelos downstream que a avaliação apenas de sintaxe esconderia, ele não garante a correção semântica (validade de execução $\neq$ correção semântica). Eles também observam que os resultados baseiam-se em proxies públicos (FinBench, SNB, ICIJ) e que o ajuste fino (fine-tuning) específico do locatário permanece um caminho de engenharia habilitado pelos artefatos, não uma alegação concluída deste estudo.