Generating Hierarchical JSON Representations of Scientific Sentences Using LLMs

Título: Geração de Representações JSON Hierárquicas de Sentenças Científicas Usando LLMs

1. Problema Investigado

As sentenças científicas frequentemente expressam uma afirmação central acompanhada de informações complexas, como condições, qualificadores temporais e exceções lógicas. Métodos anteriores de representação de texto científico tendiam a mapear sentenças para estruturas planas (ex: Entidade A – Relação – Entidade B), o que falha em capturar dependências em nível de cláusula e lógica hierárquica, resultando em perda de informação. O objetivo deste estudo é investigar se representações estruturadas em formato JSON hierárquico podem preservar o significado completo de sentenças científicas complexas e permitir sua reconstrução fiel.

2. Metodologia

A abordagem proposta envolve um pipeline de três etapas principais:

• A. Construção do Dataset:

  • Um conjunto de dados foi criado com 1.500 sentenças científicas extraídas de artigos em sete domínios (Física, Ciência da Computação, Matemática, Economia, Biologia, Química e Medicina), provenientes de repositórios como arXiv, bioRxiv e PubMed.
  • Após pré-processamento (remoção de equações e marcadores de citação), 1.370 sentenças foram mantidas.
  • Os dados foram divididos em: 1.096 para treino/validação e 274 para teste.

• B. Geração de Dados de Treino e Estrutura JSON:

  • O modelo GPT-4o foi utilizado para gerar dados de treinamento de alta qualidade.
  • O prompt instruiu a criação de um JSON com duas partes principais:
    1. Core (Núcleo): Contém um rótulo genérico e a afirmação central da sentença.
    2. Hierarchy (Hierarquia): Estrutura aninhada que conecta componentes através de tipos de relacionamento (baseados em 17 tipos predefinidos, mas permitindo liberdade de escolha).
  • Restrições de compressão foram aplicadas para garantir que nenhum campo excedesse 30% do comprimento da sentença original, forçando a extração de informações essenciais.

• C. Fine-tuning do LLM (Mistral-7B):

  • O modelo Mistral-7B foi ajustado (fine-tuned) usando a técnica LoRA (Low-Rank Adaptation) nas camadas de atenção e projeção feedforward.
  • Contribuição Chave (Função de Perda Estrutural): Foi introduzida uma função de perda novel que integra um agente de validação de estrutura em tempo de execução. Além da perda de entropia cruzada padrão ($L_{CE}$), o sistema decodifica a saída do modelo e tenta parseá-la como JSON. Se a parse falhar, uma penalidade estrutural ($L_{struct}$) é aplicada ao lote. A perda total é: $L_{total} = L_{CE} + L_{struct}$. Isso garante que o modelo aprenda a gerar JSON sintaticamente válido.

• D. Reconstrução da Sentença:

  • Os JSONs gerados pelo modelo Mistral-7B (fine-tuned) foram usados como entrada para o GPT-4o via API.
  • O GPT-4o foi instruído a interpretar a estrutura hierárquica e reconstruir uma sentença natural coerente.

3. Resultados

A avaliação foi realizada comparando as sentenças originais com as reconstruídas, utilizando métricas de similaridade semântica e sobreposição lexical:

• Validade Estrutural: 100% das saídas JSON do conjunto de teste (n=274) foram formatos JSON válidos, demonstrando a eficácia da função de perda estrutural.
• Similaridade Semântica:
  • A Similaridade de Cosseno (usando embeddings do modelo all-mpnet-base-v2) apresentou uma média de 0,8724, com a maioria das sentenças acima de 0,85. Isso indica uma retenção consistente do significado.
• Sobreposição Lexical:
  • BLEU: Média de 0,1496 (baixo, esperado devido à reestruturação sintática).
  • ROUGE-1 F1: Média de 0,5725.
  • METEOR: Média de 0,4907.
• Análise de Casos:
  • Sentenças com alta similaridade (ex: ID 185) mantiveram a ideia principal com pequenas variações.
  • Sentenças com baixa similaridade (ex: ID 134 e 522) geralmente sofreram compressão excessiva de cláusulas ou perda de conteúdo lógico durante a geração do JSON, afetando a reconstrução.

4. Contribuições Principais

1. Formato Hierárquico: Proposta de um esquema JSON hierárquico que separa a afirmação central de componentes de suporte, superando as limitações de esquemas planos (A–relação–B).
2. Função de Perda Estrutural Novel: Desenvolvimento de um mecanismo de treinamento que penaliza dinamicamente a geração de JSON inválido durante o fine-tuning, assegurando robustez sintática sem necessidade de pós-processamento complexo.
3. Validação de Preservação de Significado: Demonstração empírica de que modelos leves (7B parâmetros), quando devidamente ajustados, podem codificar e decodificar informações científicas complexas com alta fidelidade semântica.

5. Significância e Conclusão

O estudo conclui que representações estruturadas em JSON são eficazes para preservar o significado de textos científicos, permitindo a reconstrução de sentenças originais com alta similaridade semântica. Isso abre caminho para aplicações em:

• Bancos de Conhecimento Científico: Armazenamento mais rico e estruturado de literatura.
• Raciocínio Automático: Facilitação da extração de lógica complexa para sistemas de IA.
• Eficiência Computacional: Uso de modelos leves (como Mistral-7B) para tarefas que tradicionalmente exigiriam modelos maiores ou processamento manual.

Trabalhos futuros visam testar a robustez sob estruturas corrompidas e explorar funções de perda baseadas em árvores para melhor alinhamento de papéis semânticos.