Evaluating Assurance Cases as Text-Attributed Graphs for Structure and Provenance Analysis

Resumo Técnico: Avaliação de Casos de Garantia como Grafos Atribuídos a Texto

1. Problema e Contexto

Os Casos de Garantia (Assurance Cases) são documentos estruturados que justificam reivindicações sobre os requisitos ou propriedades de um sistema, apoiados por evidências. Eles são críticos em domínios regulamentados (aviação, segurança de software, IA) para garantir conformidade e segurança. Tradicionalmente, são construídos manualmente, o que é trabalhoso e propenso a erros.

Recentemente, Modelos de Linguagem de Grande Escala (LLMs) têm sido utilizados para gerar automaticamente esses casos. No entanto, isso introduz desafios significativos:

• Falta de Coerência Lógica: Argumentos gerados podem parecer estruturalmente válidos, mas carecerem de links evidenciais críticos.
• Viés de Proveniência: Distinguir entre casos escritos por humanos e gerados por LLMs é difícil, mas essencial para evitar "alucinações" e garantir a confiabilidade na certificação.
• Limitações de Métodos Atuais: Abordagens anteriores baseadas apenas em similaridade de texto ou inferência em linguagem natural falham em capturar as interdependências complexas e a estrutura hierárquica dos argumentos.

O objetivo do artigo é propor um framework de diagnóstico baseado em grafos para analisar a estrutura e a proveniência (origem) de casos de garantia, utilizando Grafos Atribuídos a Texto (TAGs).

2. Metodologia

Os autores propõem modelar casos de garantia como Grafos Atribuídos a Texto (Text-Attributed Graphs - TAGs), onde:

• Nós: Representam elementos do argumento (Reivindicações, Estratégias, Evidências, Contextos) com características textuais (embeddings gerados por BERT).
• Arestas: Representam as relações lógicas entre esses elementos.

O framework de avaliação baseia-se em Redes Neurais em Grafos (GNNs) e executa duas tarefas principais:

1. Predição de Links (Link Prediction):

   • Objetivo: Inferir conexões ausentes ou implícitas entre elementos do caso de garantia.
   • Método: O modelo aprende a probabilidade de uma aresta existir entre dois nós ($p(e_{ij} \in E) = \sigma(h_i^T W h_j)$).
   • Propósito: Avaliar a coerência estrutural e a capacidade do modelo de capturar dependências semânticas e estruturais.

2. Classificação de Grafos (Graph Classification):

   • Objetivo: Distinguir entre casos de garantia escritos por humanos e gerados por LLMs (GPT-4o).
   • Método: Uso de funções de pooling (média ou atenção) para obter uma representação global do grafo ($h_G$) seguida de uma camada de classificação.
   • Propósito: Detectar viés e padrões estruturais sintéticos inerentes aos LLMs.

Modelos Utilizados:

• Baselines GNN: GCN, GraphSAGE, GAT.
• Modelos de Fundação: UniGraph (pré-treinado com auto-supervisão) e GraphPrompt (para few-shot learning).
• Baselines de Texto: LLMs decodificadores (Llama 3, Qwen) usando In-Context Learning (ICL) para comparação.

3. Contribuições Principais

1. Dataset Curado e Público: Compilação de um conjunto de dados público contendo casos de garantia humanos e gerados por LLMs, representados como grafos (formatos GSN e Safety Tree), suportando pesquisa em representação gráfica e avaliação.
2. Avaliação Empírica de Estrutura e Proveniência:
   • Demonstração de que GNNs podem inferir relações estruturais com alta precisão.
   • Evidência de que GNNs conseguem detectar viés de proveniência (Humano vs. LLM) com alta acurácia.
3. Pipeline de Explicabilidade: Análise do comportamento dos modelos usando GNNExplainer para investigar quais nós e arestas influenciam as decisões, revelando lacunas entre o raciocínio previsto e a estrutura real.

4. Resultados Chave

A. Predição de Links (RQ1):

• Desempenho em Dados Humanos: GNNs treinados em dados humanos alcançaram desempenho forte (ROC-AUC $\approx$ 0.760 - 0.855), superando significativamente modelos baseados apenas em texto (LLMs decodificadores).
• Transferência de Dados Sintéticos: Modelos treinados apenas em dados gerados por LLMs tiveram desempenho ruim ao serem testados em dados humanos (queda acentuada no AUC e F1), indicando uma discrepância distribucional e viés estrutural nos dados sintéticos.
• Aprendizado Semi-supervisionado: Combinar dados humanos e gerados por LLMs no treinamento melhorou significativamente a robustez e a generalização dos modelos (UniGraph atingiu ROC-AUC $\approx$ 0.868).
• Profundidade do Modelo: Modelos mais rasos (1 camada) geralmente superaram modelos mais profundos (3 camadas), sugerindo que a inferência de links em casos de garantia depende mais de informações de vizinhança local do que de caminhos longos.

B. Classificação de Proveniência (RQ2):

• Detecção de Viés: GNNs (especialmente GCN e GraphSAGE) distinguiram casos humanos de LLMs com alta precisão (Acurácia $\approx$ 0.97, F1 $\approx$ 0.98).
• Padrões Estruturais: Casos gerados por LLMs exibem padrões de ligação hierárquica diferentes, com dependência desproporcional em elementos de alto nível (Objetivos/Estratégias) e integração inconsistente de nós de "Contexto".
• Explicabilidade (Fidelidade): Embora a classificação seja precisa, as ferramentas de explicação (GNNExplainer) mostraram fidelidade moderada. Os modelos tendem a confiar mais em características de nós (texto) do que na estrutura de arestas para fazer a distinção, revelando uma lacuna entre a decisão do modelo e a estrutura causal real do argumento.

5. Significado e Implicações

• Validação de IA em Engenharia de Requisitos: O estudo demonstra que a análise baseada em grafos é superior à análise puramente textual para validar a estrutura de argumentos complexos em sistemas críticos.
• Sinalizador de Qualidade: A detecção de proveniência pode servir como uma ferramenta de triagem para alertar engenheiros de segurança sobre argumentos gerados por IA que podem conter viés estrutural ou alucinações, exigindo revisão humana mais rigorosa.
• Limitações e Futuro: A baixa fidelidade das explicações atuais indica que, embora saibamos que um caso é sintético, ainda não entendemos completamente por que o modelo tomou essa decisão baseada na estrutura. O trabalho sugere o uso futuro desses classificadores como discriminadores em loops de feedback iterativo para refinar a geração de casos de garantia por LLMs.

Em resumo, o artigo estabelece que casos de garantia gerados por IA possuem "assinaturas" estruturais detectáveis e que os GNNs são ferramentas eficazes para analisar essas estruturas, embora a interpretabilidade completa desses modelos ainda seja um desafio a ser superado.