Resumo Técnico: Além dos LLMs: Uma Abordagem Linguística para a Geração de Grafos Causais a partir de Textos Narrativos

Declaração do Problema

As abordagens atuais baseadas em IA para a geração de grafos causais frequentemente priorizam a causalidade de alto nível (ex: "HIV leva à AIDS"), mas têm dificuldade em capturar relações causais específicas de eventos dentro de narrativas discretas, como relatos históricos ou ficção literária. Os métodos existentes geralmente seguem um pipeline de duas etapas (detecção de causalidade seguida por construção de grafo), mas enfrentam limitações em interpretabilidade e precisão, particularmente ao lidar com estruturas de sentenças complexas ou elos causais implícitos. O desafio central abordado por este trabalho é a geração de grafos causais conectados e detalhados a partir de textos narrativos que reflitam fielmente a cadeia de eventos que leva a resultados tangíveis, preenchendo a lacuna entre a causalidade de alto nível e os detalhes narrativos específicos.

Metodologia

Os autores propõem um framework end-to-end que integra a extração de características linguísticas com modelos de linguagem modernos para gerar grafos causais. O processo consiste em quatro estágios distintos:

1. Extração de Vértices

O sistema primeiro transforma o texto narrativo bruto em um conjunto de sentenças concisas, centradas no agente, que servem como vértices do grafo. Utilizando uma estratégia de sumarização baseada em LLM (especificamente o GPT-4o, selecionado por seu desempenho superior em compressão de eventos), o texto é processado através de um fluxo de trabalho de prompting estruturado:

• Sumarização: Geração de resumos breves de parágrafos.
• Substituição de Pronomes: Substituição de pronomes por identificadores explícitos (ex: "O Protagonista").
• Simplificação de Cláusulas: Divisão de sentenças complexas em declarações de ação única.
• Verificação de Fluxo: Garantia de continuidade lógica enquanto detalhes tangenciais são descartados.
  Cada vértice é restrito a conter no máximo duas cláusulas, apresentar um único agente explícito e utilizar a voz ativa.

2. Extração do Índice Especialista

Para aumentar a precisão da classificação, o framework extrai sete características fundamentadas linguisticamente (o "Índice Especialista") para cada sentença. Estas características são adaptadas de frameworks de discurso (Hemmatian et al., 2021; Hemmatian Borujeni, 2022) e incluem:

1. Genericidade: Sujeitos específicos vs. genéricos.
2. Eventividade: Verbos dinâmicos (ação) vs. estáticos (estado).
3. Limitação (Boundedness): Eventos episódicos, habituais ou estáticos.
4. Iniciatividade: Se o sujeito inicia ou recebe a ação.
5. Início Temporal: Passado ou presente relativo à narrativa.
6. Fim Temporal: Presente ou futuro relativo à narrativa.
7. Impacto: Se o efeito do evento persiste ou é resolvido.

Um classificador baseado em RoBERTa é treinado em dados anotados por humanos para prever estas características para cada sentença.

3. Categorização STAC

O sistema emprega um modelo de classificação STAC para categorizar sentenças em quatro componentes: Situação (contexto), Tarefa (requisito), Ação (atividade) e Consequência (resultado).

• Entrada: O modelo combina embeddings de sentenças RoBERTa (768 dimensões) com características do Índice Especialista codificadas em one-hot (13 dimensões).
• Arquitetura: Um classificador XGBoost é utilizado para prever o rótulo STAC, aproveitando a entrada híbrida de embeddings semânticos e características linguísticas explícitas.
• Desempenho: Esta abordagem híbrida supera significativamente modelos que utilizam apenas embeddings ou apenas características linguísticas, bem como baselines de LLM zero-shot.

4. Construção do Grafo

Um processo de prompting estruturado de cinco iterações usando LangChain constrói o grafo causal final:

1. Aprendizado de Vínculos STAC: O LLM internaliza conexões causais válidas entre categorias STAC.
2. Identificação de Relação Causal: O modelo avalia pares de vértices para propor arestas baseadas nos vínculos STAC.
3. Consistência Lógica e Poda: O raciocínio contrafactual ("Se A não ocorresse, B ainda aconteceria?") filtra links não causais.
4. Refinamento de Vértices Isolados: O modelo revisita vértices desconectados para identificar causas ou efeitos negligenciados.
5. Construção do Grafo Final: Os vértices e arestas refinados são compilados em um diagrama causal coerente e logicamente sólido.

Principais Contribuições

1. Framework End-to-End de Código Aberto: Os autores desenvolveram um novo pipeline que melhora significativamente a interpretabilidade e a precisão da geração de grafos causais a partir de textos narrativos em comparação com métodos existentes.
2. Sistema de Características Linguísticas: A introdução do "Índice Especialista" (sete características linguísticas) fornece um mecanismo para classificar sentenças de forma eficiente para a construção causal. Este sistema é validado através de experimentos que mostram que a combinação destas características com embeddings semânticos produz um desempenho de classificação superior.
3. Arquitetura Híbrida: O artigo demonstra que um sistema híbrido (embeddings RoBERTa + características do Índice Especialista processadas por XGBoost) alcança maior precisão na identificação de elos causais e na classificação de componentes narrativos do que os baselines de apenas LLM, mantendo custos computacionais mais baixos.

Resultados Experimentais

O framework foi avaliado em um corpus de 100 capítulos e contos (datados entre 1800–1950), incluindo obras de O. Henry, Poe e Fitzgerald.

• Extração de Vértices: O GPT-4o foi identificado como o modelo de sumarização ideal, pontuando mais alto em concisão, cobertura e economia de informação.
• Classificação STAC: O modelo XGBoost utilizando tanto RoBERTa quanto as características do Índice Especialista alcançou o maior score macro-F1 em todas as categorias STAC. Superou o baseline de apenas RoBERTa em aproximadamente 30% e o classificador zero-shot do GPT-4 em 10–15% de melhoria relativa.
• Qualidade do Grafo: Em comparações pareadas contra o GPT-4o e o Claude 3.5, o método proposto demonstrou desempenho superior na maioria das dimensões qualitativas:
  • Causalidade vs. Cronologia: 100% de taxa de vitória contra ambos os baselines.
  • Completude Lógica e Precisão de Conexões: 100% de taxa de vitória.
  • Motivações Explícitas/Intenção: 95% (vs. GPT-4o) e 92% (vs. Claude 3.5).
  • Granularidade e Hierarquia: Altas taxas de vitória (84–94%).
  • Facilidade de Leitura: O método proposto manteve legibilidade comparável aos baselines (taxa de vitória de 52–57%), indicando que não sacrifica a clareza pela precisão.

Significância e Alegações

O artigo afirma que a integração da engenharia de características linguísticas interpretáveis com modelos de linguagem modernos oferece uma solução robusta para o raciocínio causal detalhado em textos narrativos. Ao ir além do puro prompting de LLM para um pipeline estruturado envolvendo índices linguísticos e refinamento iterativo, o framework atinge um nível de precisão e consistência lógica que os atuais LLMs de última geração lutam para replicar autonomamente. Os autores posicionam este trabalho como um passo para a análise escalável e interpretável de grandes coleções de documentos, permitindo que stakeholders rastreiem cadeias de eventos em movimentos sociais, formulação de políticas e tendências históricas com maior precisão. A ferramenta resultante é de código aberto, visando facilitar pesquisas adicionais em sumarização, análise de discurso e construção de grafos de conhecimento.