Resumo Técnico: REMOD – Extração de Relações para Modelagem do Discurso Online

Declaração do Problema

A proliferação de informações falsas e imprecisas no discurso online representa desafios significativos para a esfera pública. Embora verificadores de fatos de terceiros gerem dados estruturados (por exemplo, por meio do esquema ClaimReview) para combater a desinformação, a natureza semiestruturada desses dados dificulta a modelagem e o raciocínio automatizados. Um gargalo primário é a extração de relações: a tarefa de identificar relações semânticas entre entidades nomeadas dentro de uma afirmação para reduzi-la a uma tripla semântica legível por máquina (Sujeito, Predicado, Objeto).

As abordagens existentes frequentemente lutam com a complexidade do discurso online, que inclui sarcasmo, opinião e afirmações compostas. Além disso, métodos padrão de extração de relações frequentemente falham em aproveitar efetivamente o contexto estrutural entre entidades. Os autores postulam que o conhecimento das entidades e das relações ao longo do caminho que conecta um sujeito e um objeto em um grafo de dependência semântica fornece informações cruciais para determinar a relação semântica entre eles.

Metodologia

O artigo introduz o REMOD (Extração de Relações para Modelagem do Discurso Online), um pipeline de aprendizado supervisionado que combina técnicas de incorporação de grafos com travessia de caminhos em grafos de dependência semântica. A metodologia procede através das seguintes etapas:

1. Análise Semântica: Fragmentos de linguagem natural são processados usando o FRED, uma ferramenta de leitura de máquina baseada na Teoria da Representação do Discurso. O FRED converte texto em grafetos RDF (Resource Description Framework) (grafos acíclicos direcionados) contendo nós para entidades e arestas para relações semânticas.
2. Composição do Grafo do Corpus: Grafetos RDF individuais de um grande corpus (Corpus de Extração de Relações do Google - GREC) são costurados juntos em um único "grafo de corpus". Nós redundantes representando a mesma entidade (por exemplo, fred:Doctorate e dbpedia:Doctorate) são contraídos em vértices únicos usando seus URIs de ontologia.
3. Incorporação de Nós: O algoritmo Node2Vec é aplicado ao grafo de corpus para gerar representações vetoriais de alta dimensão (incorporações) para cada nó. Os autores realizaram uma busca em grade para otimizar o parâmetro de retorno ($p=2$) e o parâmetro in-out ($q=3$), capturando a estrutura topológica "global" do grafo. Os vetores resultantes são de 256 dimensões.
4. Travessia de Caminhos e Geração de Vetores: Para uma afirmação dada, os nós de sujeito e objeto são identificados no grafeto RDF original. O caminho não direcionado mais curto entre esses nós é calculado. O vetor de características final para a relação é gerado pela média das incorporações de nós ao longo deste caminho mais curto:
   $$\frac{1}{n} \sum_{i=1}^{n} \vec{v}_i$$
5. Classificação de Relações: Os vetores de caminho resultantes são alimentados em vários classificadores (Regressão Logística, $k$-NN, SVM, Floresta Aleatória, Árvore de Decisão e uma Rede Neural Larga) para prever a relação semântica (por exemplo, placeOfBirth, education).
6. Integração com Verificação de Fatos: As triplas extraídas são alimentadas em algoritmos de verificação de fatos prontos para uso (Knowledge Linker, Relational Knowledge Linker, Knowledge Stream) para verificar a validade da afirmação contra uma base de conhecimento.

Contribuições Principais

• Abordagem Inovadora de Extração de Relações: O artigo propõe um método que aproveita o "caminho mais curto" entre entidades em um grafo de dependência semântica, combinado com incorporações Node2Vec, para extrair relações. Isso vai além de recursos baseados apenas em texto para utilizar informações estruturais do grafo.
• Integração de Pipeline: Os autores demonstram um pipeline funcional que integra extração de relações com verificação automatizada de fatos, avançando de texto bruto para afirmações verificadas.
• Aumento de Conjunto de Dados: Os autores atualizaram o Corpus de Extração de Relações do Google (GREC) para estar "pronto para máquina" para bases de conhecimento modernas (DBpedia/Wikidata), abordando limitações na vinculação de entidades do conjunto de dados original.

Resultados

O artigo relata o desempenho em duas tarefas principais:

1. Classificação de Relações (no GREC):

   • A Rede Neural Larga e Profunda (Wide DNN) alcançou o melhor desempenho com uma AUC de 0,976.
   • Isso superou significativamente as linhas de base usando incorporações Word2Vec (AUC 0,883) e outros classificadores como SVM (AUC 0,855).
   • Os autores descobriram que uma representação de grafo não direcionado e não ponderado produziu os melhores resultados, sugerindo que arestas direcionadas e pesos de aresta (baseados na distância angular) restringiram os caminhos disponíveis ou introduziram ruído.

2. Aplicação a Afirmações do Mundo Real (ClaimReview):

   • Quando aplicado a 28 afirmações do mundo real anotadas por verificadores de fatos, o modelo alcançou uma AUC de 0,958 para extração de relações.
   • Verificação de Fatos: Para afirmações onde a tripla extraída serve como evidência (13 afirmações), os algoritmos Relational Knowledge Linker e Knowledge Stream alcançaram uma AUC de 0,773.
   • Verificação de Fatos (Ponta a Ponta): Para um subconjunto de 7 afirmações onde a tripla representa totalmente a afirmação, o sistema alcançou uma AUC de verificação de 0,833 usando o Relational Knowledge Linker. Este desempenho foi comparável ou superou as linhas de base de correspondência de afirmações de padrão-ouro (que dependem de verificações de fatos existentes) sem exigir um corpus de afirmações previamente verificadas.

Significado e Afirmações

Os autores afirmam que o REMOD fornece um método robusto para modelar o discurso online, reduzindo texto não estruturado a triplas semânticas estruturadas. O significado do trabalho reside em:

• Escalabilidade: A capacidade de processar uma gama mais ampla de amostras de discurso online do que anteriormente possível, facilitando a análise quantitativa da desinformação.
• Automação: O pipeline oferece um conceito de prova para verificação automatizada de fatos que não depende estritamente da correspondência com um banco de dados pré-existente de verificações de fatos (diferentemente do ClaimBuster), mas sim verifica afirmações contra a integridade estrutural de um grafo de conhecimento.
• Eficiência: O método visa reduzir o atraso temporal (atualmente ~15 horas) entre a propagação da desinformação e o aparecimento de correções, automatizando a identificação e verificação iniciais de afirmações.

Os autores reconhecem limitações, incluindo as "falhas em cascata" inerentes a pipelines de múltiplos estágios (por exemplo, erros na vinculação de entidades do FRED) e a incapacidade do Node2Vec de generalizar para nós não vistos sem retreinamento. Eles sugerem que trabalhos futuros poderiam envolver frameworks de aprendizado indutivo (como GraphSAGE) e modelos baseados em transformadores.