Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

Na vasta paisagem da comunicação humana, tecemos constantemente histórias de causa e efeito. Dizemos que uma chuva forte causou o transbordamento de um rio, ou que um prazo perdido levou ao fracasso de um projeto. Às vezes, essas conexões são óbvias, marcadas por palavras como "porque" ou "resultou em". Mas, frequentemente, o elo está oculto. Um texto pode descrever uma sequência de eventos onde a causa nunca é nomeada, deixando o leitor inferir a relação com base no contexto e no senso comum. Para que os computadores realmente compreendam nossa linguagem, eles devem aprender a detectar esses fios invisíveis, uma tarefa conhecida como extração de causalidade. Isso não é apenas um enigma linguístico; é uma necessidade prática para máquinas que precisam analisar relatórios de notícias, prontuários médicos ou investigações de segurança para entender o que aconteceu e por quê. Durante anos, pesquisadores tentaram ensinar aos computadores essa habilidade usando três estratégias diferentes: conjuntos rígidos de regras criadas por humanos, redes neurais complexas que aprendem com exemplos e a geração mais recente de modelos de linguagem massivos que conseguem raciocinar através de instruções. No entanto, como cada grupo testou seus métodos em dados diferentes com sistemas de pontuação diferentes, tornou-se impossível saber qual abordagem é verdadeiramente a melhor ou onde elas falham.

Um pesquisador da Universidade Técnica de Munique decidiu resolver essa incerteza construindo um campo de teste único e unificado. Eles reuniram coleções existentes de textos de notícias, medicina, finanças e relatórios de segurança, e reescreveram cuidadosamente os rótulos para cada relação de causa e efeito para que todos seguissem a mesma definição rigorosa. Isso criou um campo de jogo justo onde poderiam testar as três principais estratégias lado a lado sob condições idênticas. Eles colocaram sistemas baseados em regras simples, que procuram palavras e padrões gramaticais específicos, contra modelos de aprendizagem profunda que estudaram milhares de exemplos e, finalmente, contra grandes modelos de linguagem que podem processar vastas quantidades de texto e seguir instruções complexas. O objetivo era ver não apenas qual método obtevia a pontuação mais alta, mas como cada um lidava com as partes complicadas da tarefa, como encontrar causas que não estão explicitamente declaradas ou conectar eventos que estão distantes em um documento longo.

Os resultados revelaram um cenário muito mais matizado do que a história simples de "o mais novo é melhor" sugeriria. O pesquisador descobriu que os sistemas baseados em regras à moda antiga, que dependem de identificar palavras como "causou" ou "devido a", ainda são surpreendentemente eficazes quando a causa está claramente marcada. Nesses casos diretos, eles performam quase tão bem quanto as redes neurais mais avançadas, mas o fazem sem precisar de dados de treinamento e com quase nenhum poder de computação. No entanto, esses sistemas rígidos encontram uma barreira intransponível quando a causa está oculta. Como dependem inteiramente de pistas superficiais, eles falham quase completamente quando um texto implica uma relação sem usar palavras conectivas específicas.

Os modelos de aprendizagem profunda, que são treinados em exemplos anotados, reduziram significativamente essa lacuna. Eles provaram ser muito melhores em detectar causas ocultas e compreender o contexto dentro de uma única frase ou de um parágrafo curto. No entanto, eles tiveram dificuldades quando a causa e o efeito estavam separados por várias frases ou quando o texto descrevia uma longa cadeia de eventos. As ferramentas mais poderosas, os grandes modelos de linguagem, mostraram a melhor capacidade geral de encontrar essas conexões ocultas e distantes. Quando esses modelos foram cuidadosamente ajustados com exemplos específicos, superaram os outros métodos, particularmente na categoria mais difícil de encontrar causas que são tanto implícitas quanto espalhadas por um documento. Contudo, esse desempenho superior veio com um preço alto. Os grandes modelos exigiam muito mais poder de computação para rodar e levavam significativamente mais tempo para processar cada documento do que os modelos mais simples. Além disso, mesmo os melhores modelos grandes cometiam um tipo específico de erro: eles frequentemente identificavam a ideia correia, mas acertavam ligeiramente as fronteiras exatas da frase, um problema conhecido como deriva de fronteira (boundary drift).

Talvez a descoberta mais importante tenha sido que nenhum método resolveu o problema completamente. Embora os grandes modelos de linguagem tenham sido os mais fortes no geral, eles ainda falharam em reconstruir totalmente a estrutura causal completa de um documento longo cerca de metade das vezes. O pesquisador observou que todas as três abordagens tiveram dificuldades com cadeias causais onde um evento intermediário não foi explicitamente rotulado como causa ou efeito, sugerindo que a forma atual de definir essas tarefas pode ser simples demais para a complexidade das narrativas do mundo real. O estudo também mostrou que, embora os grandes modelos fossem robustos o suficiente para lidar com uma mudança de um tópico para outro, como passar de textos médicos para relatórios de segurança, eles ainda perdiam precisão significativa em comparação com seu desempenho em seu domínio de origem.

O quadro final é de forças complementares em vez de um vencedor claro. O pesquisador concluiu que a escolha do método deve depender inteiramente das necessidades específicas da aplicação. Se um sistema precisa processar milhares de relatórios rapidamente e as causas são geralmente óbvias, um sistema baseado em regras simples ou uma rede neural padrão pode ser a escolha mais prática. Mas se o objetivo é compreender relações complexas e ocultas em textos diversos e difíceis, os grandes modelos de linguagem valem o custo extra, desde que suas limitações sejam gerenciadas. O estudo sugere que o futuro deste campo não reside em esperar que uma tecnologia vença as outras, mas em construir sistemas híbridos que combinem a velocidade e a precisão das regras com o poder de raciocínio dos grandes modelos. Ao reconhecer que cada abordagem possui pontos cegos, os pesquisadores podem agora avançar em direção à construção de ferramentas que sejam verdadeiramente capazes de compreender a história completa de causa e efeito.