CLMN: Concept based Language Models via Neural Symbolic Reasoning

Resumo Técnico: CLMN (Rede de Modelo de Linguagem Conceitual)

1. O Problema

O desempenho excepcional das redes neurais profundas no Processamento de Linguagem Natural (PLN) é frequentemente limitado pela sua falta de interpretabilidade, classificando-as como "caixas pretas". Em domínios de alto risco, como saúde e finanças, a transparência das decisões é crucial.
Embora os Modelos de Gargalo de Conceito (CBMs) tenham melhorado a interpretabilidade na Visão Computacional, sua adaptação para PLN enfrenta desafios significativos:

• Perda de Informação: Abordagens tradicionais forçam ativações de conceitos binários (rígidos), degradando a qualidade da representação textual.
• Opacidade Semântica: Modelos de Embedding de Conceito (CEM) usam espaços latentes contínuos, mas obscurecem o significado humano ao não explicar como os conceitos interagem.
• Falha na Interação Dinâmica: Métodos existentes não capturam interações complexas entre conceitos (ex.: negações como "não grave" modificando a severidade de uma doença), dependendo de rótulos rígidos em vez de aprender relações a partir dos dados.

2. Metodologia

O artigo propõe o CLMN (Concept Language Model Network), um novo framework neuro-simbólico que reconcilia desempenho e interpretabilidade. A arquitetura integra representações neurais com raciocínio simbólico baseado em lógica fuzzy.

Componentes Principais:

• Camada de Conceito e Embedding Contínuo:
  • Em vez de ativações binárias, o modelo projeta conceitos em um espaço de embedding contínuo.
  • Para cada conceito, o modelo aprende estados de ativação (verdadeiro/falso) e calcula uma probabilidade de ativação ($p_s$), criando um embedding final ponderado ($\hat{c}_s$). Isso preserva a semântica legível por humanos enquanto evita a perda de informação do binário rígido.
• Raciocínio Neuro-Simbólico (Neural-Symbolic Reasoning):
  • Utiliza Lógica Fuzzy para modelar interações dinâmicas entre conceitos, permitindo graus de verdade contínuos (0 a 1) em vez de booleanos.
  • Operadores Neurais:
    1. Rede de Polaridade de Conceito: Aprende a influência direcional de um conceito em uma classe (positiva ou inibitória).
    2. Rede de Relevância de Conceito: Calcula pesos de importância contextual para cada conceito.
  • Regras de Decisão: As previsões finais são sintetizadas através de operações lógicas fuzzy (Conjunção $\land$, Disjunção $\lor$, Negação $\neg$) aplicadas aos sinais das redes neurais. Isso permite a extração de regras lógicas interpretáveis (ex.: "Se comida é boa E ambiente é barulhento, então...").
• Fusão de Previsão:
  • O modelo não depende apenas das regras simbólicas. Ele funde as representações originais do texto (do PLM) com os embeddings de conceitos para gerar a previsão final, garantindo alta precisão.
• Função de Perda:
  • O treinamento otimiza uma perda composta: Perda de Previsão (acurácia da tarefa) + Perda de Conceito (precisão dos conceitos) + Perda Neuro-Simbólica (consistência das regras).

3. Contribuições Chave

1. Novo Framework Neuro-Simbólico para PLN: O CLMN é a primeira abordagem a integrar efetivamente lógica fuzzy e raciocínio simbólico em modelos de linguagem pré-treinados para resolver o trade-off entre precisão e interpretabilidade.
2. Modelagem de Interação Dinâmica: Diferente de métodos anteriores, o CLMN aprende explicitamente como os conceitos interagem e se modificam mutuamente (ex.: negação, contexto) através de operadores neurais diferenciáveis.
3. Superação da Perda de Informação: Ao utilizar embeddings contínuos em vez de ativações binárias forçadas, o modelo preserva a integridade das representações textuais originais.
4. Explicabilidade Transparente: O sistema gera regras lógicas compostas por conceitos que explicam a derivação da previsão, oferecendo transparência sem sacrificar o desempenho.

4. Resultados Experimentais

Os experimentos foram realizados em múltiplos modelos base (BERT, RoBERTa, GPT-2, LSTM) no dataset aug-CEBaB-yelp (classificação de sentimentos em resenhas de restaurantes).

• Desempenho de Tarefa: O CLMN alcançou desempenho competitivo, com uma degradação de acurácia inferior a 0,3% em comparação com modelos base não interpretáveis.
  • Exemplo (BERT-base): Acurácia de 69,26% (CLMN) vs. 69,49% (Baseline).
• Qualidade dos Conceitos: O modelo demonstrou alta precisão na previsão de conceitos intermediários (Acurácia de 85,85% e F1 de 84,63% para o BERT), validando a capacidade de extrair representações semânticas corretas.
• Estudo de Ablação:
  • A adição apenas do componente simbólico reduziu a precisão final.
  • A combinação de perda de conceito e componente simbólico restaurou a precisão ao nível da baseline, mantendo a interpretabilidade.
• Comparação: O CLMN superou métodos baseados em conceitos existentes tanto em acurácia quanto na qualidade das explicações geradas.

5. Significado e Impacto

O CLMN estabelece um novo paradigma para o desenvolvimento de sistemas de PLN confiáveis. Ao demonstrar que a interpretabilidade não precisa comprometer o desempenho, o trabalho abre caminho para a adoção de IA em setores críticos (saúde, finanças, direito) onde a explicabilidade das decisões é um requisito legal e ético. A capacidade de extrair regras lógicas humanas a partir de dados complexos de linguagem oferece uma ponte vital entre a inteligência artificial "caixa preta" e a tomada de decisão humana fundamentada.

Recursos: O código e os dados estão disponíveis publicamente no repositório GitHub do autor.