NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation

Resumo Técnico: NL2SHACL-Bench

Declaração do Problema
A Linguagem de Restrição de Formas (SHACL) é um padrão W3C para validar Grafos de Conhecimento (KGs) em RDF, garantindo a qualidade e a consistência dos dados. No entanto, a autoria de formas SHACL exige conhecimento especializado tanto no domínio da aplicação quanto em tecnologias da Web Semântica, uma barreira que a maioria dos especialistas de domínio não possui. Embora as restrições sejam frequentemente expressas inicialmente em linguagem natural por especialistas e traduzidas manualmente para SHACL, esse processo é demorado e propenso a erros. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para automatizar essa tradução de Linguagem Natural para SHACL (NL2SHACL), a tarefa ainda não foi estudada sistematicamente. Os recursos existentes carecem de descrições de linguagem natural alinhadas, e os métodos de avaliação atuais dependem de comparação de strings, o que é insuficiente porque formas semanticamente equivalentes podem diferir significativamente em serialização e estrutura de grafo. Consequentemente, não existe um benchmark dedicado, um conjunto de dados padronizado ou uma metodologia de avaliação para NL2SHACL.

Metodologia
Para abordar essas lacunas, os autores apresentam o NL2SHACL-Bench, um conjunto abrangente de benchmark composto por três componentes principais:

1. NL2SHACL-Framework: Um pipeline Python modular e extensível para construção de conjuntos de dados e avaliação.

   • Construção de Conjunto de Dados: Um processo semiautomático que extrai fragmentos de forma de grafos SHACL de referência, valida sua completude estrutural e gera descrições em linguagem natural. Onde os campos sh:description existentes são ausentes ou insuficientes, os LLMs são instigados a gerar rascunhos baseados na forma e na ontologia, que são então rigorosamente revisados e corrigidos por anotadores humanos para garantir a fidelidade e remover o fraseado "estilo LLM".
   • Tradução: Um módulo agnóstico ao modelo que aceita uma descrição em linguagem natural e um trecho de ontologia para produzir um grafo SHACL traduzido.
   • Avaliação: Um módulo que aplica um conjunto de métricas para avaliar as formas geradas.

2. NL2SHACL-Dataset: Uma coleção curada de 240 pares NL–SHACL verificados manualmente através de seis sub-conjuntos de dados cobrindo cinco domínios específicos (CHEMROF, DCAT, ePO, Invoice, SNIK) e um domínio geral (DBpedia). Cada ponto de dado inclui uma forma de referência ($S^*$), uma descrição em linguagem natural ($T^*$) e um trecho de ontologia ($O_i$) contendo o vocabulário relevante. O conjunto de dados cobre 21 dos 33 componentes de restrição do SHACL Core.

3. NL2SHACL-Metrics: Um conjunto de oito métricas projetadas para avaliar a qualidade através de três dimensões:

   • Validade: Um pipeline em camadas que verifica a análise de RDF, a conformidade com a especificação SHACL e a correção do vocabulário (detectando predicados não padronizados alucinados como sh:if).
   • Estrutura: Métricas que medem a similaridade de nível de grafo, incluindo Correspondência Exata (identidade estrutural após canonicalização) e Correspondência Parcial (F1-score baseado em sobreposição de triplas).
   • Semântica: A Taxa de Equivalência Semântica (SER), que avalia se a forma gerada impõe as mesmas restrições que a referência. Isso é alcançado gerando grafos de dados RDF sintéticos usando a forma de referência como esquema e comparando os conjuntos de nós violadores entre a referência e a forma gerada.

Principais Contribuições

• Primeiro Benchmark: Introdução do NL2SHACL-Bench, o primeiro benchmark especificamente projetado para a tradução de NL para SHACL.
• Framework Extensível: Proposta de um pipeline padronizado para construir conjuntos de dados e avaliar sistemas de tradução.
• Conjunto de Dados Multi-Domínio: Construção de um conjunto de dados com descrições validadas por humanos e anotações de ontologia, cobrindo diversos padrões de restrição, desde cardinalidade simples até regras lógicas complexas.
• Métricas de Avaliação: Design de métricas que vão além da comparação estrutural para capturar a equivalência semântica através do comportamento de validação.

Resultados Experimentais
Os autores avaliaram quatro LLMs de última geração (Claude Opus 4.7, Gemini 3.1 Pro, Qwen3.5 e GLM 5.1) utilizando o benchmark.

• Validade: Todos os modelos demonstraram alta capacidade em gerar SHACL sintaticamente válido. O Gemini 3.1 Pro alcançou pontuações perfeitas em todas as métricas de validade. Outros modelos exibiram problemas menores, como prefixos ausentes, literais malformados ou vocabulário não padronizado alucinado (por exemplo, substituindo sh:or/sh:not por construtos inventados como sh:condition).
• Estrutura: As pontuações estruturais (Correspondência Exata e Correspondência Parcial) variaram significamente por conjunto de dados. Os modelos tiveram dificuldade em reproduzir a organização estrutural específica de formas de referência complexas e interconectadas (ex: em DCAT e ePO), gerando frequentemente formas de nó único com restrições aninhadas em vez disso.
• Semântica: As Taxas de Equivalência Semântica (SER) foram geralmente altas para conjuntos de dados com restrições simples (DBpedia, ePO, DCAT, CHEMROF), aproximando-se frequentemente de 100%. No entanto, o desempenho caiu significativamente para conjuntos de dados com padrões lógicos complexos (Invoice, SNIK), onde apenas cerca de metade dos registros eram semanticamente equivalentes.
• Padrões de Erro: Os principais modos de falha envolveram restrições de caminho complexas (caminhos inversos e sequenciais), restrições lógicas envolvendo sh:or e sh:not, e substituições semânticas (ex: usando sh:class em vez de sh:hasValue).

Significância e Alegações
O artigo afirma que o NL2SHACL-Bench fornece uma base significativa para medir os avanços no estado da arte para a tradução de NL para SHACL. Os resultados indicam que, embora os LLMs atuais sejam altamente capazes de gerar SHACL sintaticamente válido, eles ainda lutam para produzir restrições semanticamente equivalentes para padrões lógicos e estruturais complexos. Os autores enfatizam que métricas estruturais não devem ser tratadas como proxies para a correção semântica; uma forma pode ser estruturalmente diferente, mas semanticamente equivalente. O benchmark destaca áreas específicas onde os LLMs falham, particularmente no tratamento de caminhos inversos e negação, sugerindo que melhorias futuras devem focar nesses padrões lógicos complexos em vez de apenas na validade sintática. Os autores também observam limitações, como a natureza baseada em amostragem da métrica semântica, que pode perder erros de equivalência se os dados amostrados não dispararem a violação específica da restrição.