Resumo Técnico: Avaliação Interpretável de Resolução de Coreferência Usando Semântica Explícita

Declaração do Problema

A resolução de coreferência (RC) é atualmente avaliada principalmente por meio de métricas estatísticas agregadas, como CoNLL-F1, MUC, B3 e CEAF$\phi_4$. Embora essas métricas forneçam estimativas de desempenho estáveis, elas sofrem de limitações significativas:

1. Falta de Insight Diagnóstico: Elas medem sobreposição estrutural sem revelar se um sistema tem dificuldades com categorias semânticas específicas (por exemplo, pessoas vs. eventos vs. objetos).
2. Cegueira Semântica: Métricas padrão penalizam discrepâncias menores de intervalo ou incompatibilidades de anotação como erros completos, obscurecendo diferenças qualitativas no comportamento do modelo.
3. Interpretabilidade Limitada: Pontuações agregadas únicas frequentemente ocultam modos de falha sistemáticos. Por exemplo, um modelo pode ter bom desempenho em narrativas centradas em pessoas, mas falhar em coreferência relacionada a eventos ou objetos, uma degradação invisível para pontuações padrão.
4. Granularidade Semântica Inadequada: Tentativas anteriores de incorporar semântica na avaliação basearam-se em conjuntos de tags padrão de Reconhecimento de Entidades Nomeadas (NER) (tipicamente PER, ORG, LOC, MISC). Estes são muito grosseiros e excluem substantivos comuns e conceitos nominais, que constituem uma grande fração das menções de coreferência, deixando muitos clusters sem tipo.

Metodologia

Os autores propõem um framework de avaliação aprimorado semanticamente que sobrepõe Reconhecimento de Conceitos e Entidades Nomeadas (CNER) às saídas de resolução de coreferência. Essa abordagem não altera o próprio modelo de coreferência, mas adiciona uma camada diagnóstica para interpretar suas saídas.

1. Técnica de Rotulagem e Propagação

O framework emprega um processo de dois passos para atribuir rótulos semânticos aos clusters de coreferência:

• Passo 1: Atribuição de Menção: O sistema alinha menções de coreferência com intervalos anotados por CNER usando uma função de sobreposição de similaridade Jaccard ao nível de token ($\Omega$). Se a sobreposição exceder um limiar ($\tau=0.5$), a menção recebe o rótulo CNER correspondente.
• Passo 2: Propagação de Categoria: Para cada cluster de coreferência, um rótulo semântico é determinado por votação majoritária sobre as menções atribuídas. Esse rótulo dominante é então propagado a todas as menções dentro do cluster, incluindo pronomes e menções anteriormente não rotuladas.

2. Métricas de Avaliação Semântica

Uma vez que os clusters são tipificados semanticamente, o framework calcula duas pontuações F1 estratificadas:

• F1 de Menção Tipificada: Avalia a qualidade da extração de menções para uma classe semântica específica, independentemente do agrupamento.
• F1 de Link Tipificado: Avalia a qualidade dos links de coreferência previstos (agrupamento) para uma classe semântica específica. Para isolar o desempenho de vinculação, essa métrica é computada usando menções de padrão-ouro como entrada.

3. Configuração Experimental

O framework foi avaliado em três conjuntos de dados distintos em inglês:

• OntoNotes: Um corpus multigênero com tipos de entidades equilibrados.
• LitBank: Um corpus literário com diretrizes restritivas, fortemente enviesado para menções de pessoas (PER) (83,1%).
• PreCo: Um conjunto de dados baseado em vocabulário pré-escolar, enfatizando entidades cotidianas.

Os autores avaliaram três variantes do modelo de coreferência Maverick (uma arquitetura neural apenas com codificador), cada uma treinada em um dos três conjuntos de dados, e testaram-nas tanto no domínio quanto fora do domínio.

Contribuições Principais

1. Um Framework de Avaliação Novel: Os autores introduzem uma técnica que funde tags CNER com saídas de coreferência, fornecendo anotações semânticas densas e granulares para a maioria das menções de coreferência (cobrindo tanto entidades nomeadas quanto conceitos nominais).
2. Análise de Alta Granularidade: O framework revela padrões de erro sistemáticos e semanticamente interpretáveis que permanecem ocultos sob métricas agregadas padrão. Ele demonstra que a avaliação baseada em NER padrão é insuficiente devido à baixa cobertura e granularidade grosseira em comparação com o inventário de 29 categorias do CNER.
3. Diagnósticos Acionáveis para Aumento de Dados: Os autores demonstram que esses diagnósticos podem orientar aumentos de dados direcionados e de baixo custo. Ao identificar categorias semânticas sub-representadas nos dados de treinamento de um modelo, eles geraram documentos sintéticos para abordar especificamente essas lacunas.

Resultados

• Cobertura e Granularidade: A abordagem baseada em CNER alcançou ~90% de cobertura de menções em todos os conjuntos de dados após a propagação, superando significativamente o NER padrão (que cobria apenas ~22–53%). O CNER forneceu um espaço de rótulos muito mais rico (29 categorias vs. 4), permitindo a detecção de variações de desempenho através de diversos tipos semânticos.
• Revelando Fraquezas Sistemáticas: A avaliação expôs que modelos treinados no conjunto de dados centrado em pessoas do LitBank sofreram quedas severas de desempenho quando avaliados fora do domínio, particularmente em categorias ausentes dos dados de treinamento (por exemplo, DOENÇA, CULTURA, DINHEIRO). Métricas padrão mascararam essas falhas específicas.
• Impacto do Aumento Direcionado: Os autores treinaram um modelo aumentado em dados do LitBank suplementados com três documentos sintéticos contendo classes semânticas sub-representadas.
  • Usando anotação irrestrita (cobrindo todas as classes CNER) para os dados sintéticos resultou em uma melhoria de +2,8 pontos no CoNLL-F1 e uma melhoria de ~9,5 pontos no F1 de Menção em conjuntos de dados fora do domínio em comparação com a linha de base.
  • Isso confirmou que diagnósticos semanticamente direcionados podem orientar diretamente estratégias de aumento de dados para melhorar a generalização do modelo.

Significado e Alegações

O artigo afirma que a fundamentação semântica das menções é essencial para ir além das estatísticas agregadas rumo a uma avaliação verdadeiramente interpretável. Ao abordar a "lacuna de interpretabilidade", o framework permite que os pesquisadores:

• Identifiquem categorias semânticas específicas onde os modelos falham.
• Compreendam se as falhas são devidas à extração de menções ou à lógica de vinculação.
• Projetem intervenções direcionadas e custo-efetivas (como aumento de dados) em vez de depender de escalonamento à força bruta.

Os autores posicionam este trabalho como um passo em direção a uma avaliação de coreferência mais robusta, enfatizando que, embora a técnica de propagação atual seja uma linha de base escalável, ela permite um nível de profundidade diagnóstica anteriormente indisponível. Eles reconhecem limitações, incluindo a dependência de recursos de CNER em inglês e o fato de que ~10% das menções (principalmente clusters compostos apenas por pronomes) permanecem sem rótulo, mas argumentam que o framework demonstra com sucesso o valor da semântica explícita na avaliação e melhoria da resolução de coreferência.