Resumo Técnico: Calibração de Confiabilidade Pós-Hoc ao Nível de Entidade para Reconhecimento de Entidades Nomeadas via Características de Múltiplas Fontes

1. Definição do Problema

Embora os Modelos de Linguagem Pré-treinados (PLMs) tenham impulsionado o desempenho do Reconhecimento de Entidades Nomeadas (NER) em direção à saturação em benchmarks padrão (ex: CoNLL-2003), os protocolos de avaliação existentes negligenciam amplamente a confiabilidade da confiança de predição. Em implantações do mundo real, os modelos frequentemente exibem o fenômeno "superconfiante, mas errado", particularmente sob mudanças de distribuição como transferência de domínio (Out-of-Distribution/OOD), tokens fora do vocabulário (Out-of-Vocabulary/OOV) e ruído (erros de digitação).

As limitações atuais incluem:

• Descompasso de Granularidade: A maioria dos métodos de calibração opera nos níveis de sentença ou de token, falhando em abordar a confiabilidade de grão mais fino das predições de entidades individuais.
• Limitação de Sinal: A calibração de nível de entidade existente (ex: Jagannatha e Yu, 2020) baseia-se apenas em escores de probabilidade internos do modelo, ignorando informações de múltiplas fontes como estados de representação, semântica de tipo e contexto estrutural.
• Tensão entre Calibração e Detecção: Métodos de calibração tradicionais podem melhorar o Erro de Calibração Esperado (ECE), mas inadvertidamente reduzem a separabilidade entre predições corretas e incorretas, prejudicando as capacidades de detecção de erro e predição seletiva.

O artigo aborda a necessidade de um framework que forneça uma probabilidade de correção calibrada para cada entidade prevista sem modificar o backbone de NER subjacente, permitindo tarefas downstream como detecção de erro, classificação de risco e rejeição de predição.

2. Metodologia

A abordagem proposta é um framework de calibração pós-hoc de confiabilidade. Ele trata o modelo de NER de backbone como uma caixa-preta congelada, convertendo suas predições de nível de sentença em amostras independentes de nível de entidade para treinar um calibrador leve.

2.1 Construção de Amostras de Nível de Entidade

O modelo de backbone gera um conjunto de entidades previstas $\hat{E}$. Cada entidade é convertida em uma amostra com um rótulo de supervisão binário ($y=1$ para correspondência exata estrita com entidades de ouro, $y=0$ caso contrário). Isso desacopla a modelagem de confiabilidade do objetivo original de NER.

2.2 Sistema de Características de Múltiplas Fontes de Cinco Dimensões

A inovação central é a extração de um vetor de características $\phi_i$ para cada entidade prevista, compreendendo cinco dimensões complementares:

1. Características de Incerteza: Derivadas da distribuição de probabilidade de classe $p(c|\hat{e}, x)$.
   • Probabilidade de Classe Máxima ($s_{max}$): Sinal direto de confiança.
   • Entropia Preditiva ($H$): Mede a dispersão da distribuição.
   • Margem ($M$): Diferença entre as duas maiores probabilidades de classe, capturando a competição interclasses.
2. Características de Representação: Captura estados semânticos e de fronteira internos.
   • Representação de Span ($h_{span}$): Médias agrupadas (mean-pooled) dos estados ocultos do span da entidade.
   • Representações de Fronteira ($h_{start}, h_{end}$): Estados ocultos nos tokens de início e fim, cruciais para detectar deslocamentos de fronteira e truncamento.
3. Características Semânticas de Tipo: Aborda a consistência entre o span da entidade prevista e sua categoria.
   • Em vez de similaridade de cosseno explícita entre espaços (que introduz viés métrico), o método utiliza o vetor semântico ($z_{c_{pred}}$) do tipo previsto (codificado via um codificador pré-treinado) concatenado diretamente com outras características.
4. Características Estruturais: Pistas estruturais explícitas que refletem a dificuldade inerente da entidade.
   • Inclui comprimento da entidade, comprimento da sentença, posição relativa e indicadores binários para spans aninhados/descontínuos.
   • Inclui um índice de balde de comprimento de span para discretizar a complexidade.
5. Características de Vizinhança: Aproveita a estrutura local do espaço de representação de treinamento.
   • Usando um índice FAISS nas representações de spans de treinamento, o método recupera $k$ vizinhos próximos.
   • As características incluem: distância média ($\bar{d}_k$), distância mínima ($d_{min}$), proporção de vizinhos corretos ($\rho_{corr}$), densidade local ($dens$) e entropia de rótulo dentro da vizinhança ($H_{knn}$).

2.3 Calibrador Leve

Um Perceptron Multicamadas (MLP) com duas camadas ocultas mapeia o vetor de características concatenado para uma probabilidade de correção escalar $r(\hat{e}) \in (0, 1)$.

• Treinamento: O calibrador é treinado exclusivamente em amostras de nível de entidade do conjunto de validação usando perda de entropia cruzada binária com ponderação de classe.
• Inferência: Os parâmetros do modelo de backbone e os resultados da decodificação permanecem congelados; o calibrador atua como um módulo de pós-processamento não invasivo.

3. Principais Contribuições

1. Design de Framework: Propõe um framework de calibração pós-hoc de nível de entidade que fornece probabilidades de correção calibradas adequadas para tarefas de confiabilidade downstream (detecção de erro, classificação de risco, rejeição) sem alterar a arquitetura do backbone.
2. Engenharia de Características: Projeta um sistema de características de múltiplas fontes de cinco dimensões (incerteza, representação, semântica de tipo, estrutura, vizinhança) e valida as contribuições independentes e complementares de cada dimensão através de estudos de ablação.
3. Avaliação Orientada à Implantação: Constrói uma avaliação abrangente cobrindo cenários de distribuição interna (ID) e mudança de distribuição (OOD, OOV, Erros de Digitação), utilizando três métricas principais:
   • AUPRC: Capacidade de detecção de erro (classificar entidades corretas acima das incorretas).
   • AURC: Qualidade de predição seletiva (trade-off risco vs. cobertura).
   • ECE: Qualidade de calibração de probabilidade (alinhamento de escores previstos com a precisão empírica).

4. Resultados Experimentais

Os experimentos foram realizados no CoNLL-2003, GENIA e OntoNotes 4.0.

4.1 Desempenho de Distribuição Interna (In-Distribution)

• Detecção de Erro: O AUPRC melhorou significativamente em todos os datasets. No CoNLL-2003, o AUPRC subiu de 0.9490 para 0.9929.
• Predição Seletiva: O AURC (Risco-Cobertura) diminuiu substancialmente, indicando menor risco para a mesma cobertura. No CoNLL-2003, o AURC caiu de 0.0514 para 0.0095 (uma redução de 81,5%).
• Calibração: O ECE melhorou, com o CoNLL-2003 caindo de 0.0648 para 0.0156.

4.2 Desempenho sob Mudança de Distribuição

O método demonstrou robustez sob mudanças de distribuição:

• OOD (Transferência de Domínio): Mostrou a melhoria mais pronunciada, com o AUPRC aumentando de 0.8291 para 0.9409. As características de vizinhança foram particularmente eficazes aqui, fornecendo sinais de referência para entidades fora do domínio.
• OOV & Erros de Digitação: Melhorias consistentes foram observadas, embora os ganhos tenham sido ligeiramente mais modestos em cenários OOV devido à ausência de vizinhos próximos para tokens não vistos.

4.3 Comparação e Ablação

• Baselines: O método proposto superou significativamente o Platt Scaling e o Temperature Scaling em AUPRC e AURC, embora os baselines tenham mostrado um ECE ligeiramente melhor em alguns casos (pois focam puramente no alinhamento de probabilidade).
• Ablação: Remover qualquer dimensão de característica geralmente degradou o desempenho, embora métricas específicas mostrassem trade-offs sutis. As características de representação proporcionaram o maior salto em AUPRC (de 0.9502 para 0.9890). Embora a configuração "Full" (com características de vizinhança) tenha alcançado o menor ECE (0.0100), a configuração "Full (w/o Neigh)" alcançou um AUPRC ligeiramente superior (0.9922 vs. 0.9921) e um AURC menor (0.0102 vs. 0.0103). Isso indica que, enquanto as características de vizinhança melhoram significativamente a qualidade da calibração de probabilidade, seu impacto marginal no ranking de detecção de erro em cenários de distribuição interna é limitado, mas elas permanecem críticas para minimizar o ECE.

5. Significância e Alegações

O artigo alega que sua principal significância reside na mudança do paradigma de confiabilidade de NER de "predizer a correção" para "estimar a confiabilidade".

• Controle de Risco: Os escores calibrados identificam efetivamente predições de alto risco. Por exemplo, no CoNLL-2003, rejeitar apenas 2,9% das predições (aquelas com baixos escores calibrados) aumentou a precisão do conjunto restante para 94,76%, enquanto o conjunto rejeitado continha 82,93% dos erros.
• Viabilidade de Engenharia: Ao contrário de métodos que exigem o retreinamento do backbone ou redesigns complexos de decodificação, esta abordagem é plug-and-play. Requer apenas um MLP leve treinado em dados de validação, tornando-a altamente viável para implantação no mundo real.
• Confiabilidade Abrangente: O método resolve a tensão entre calibração e detecção de erro, melhorando simultaneamente o alinhamento de probabilidade (ECE) e a capacidade de filtrar erros (AUPRC/AURC).

Os autores concluem que este framework fornece um mecanismo robusto e não invasivo para aumentar a aplicabilidade prática de sistemas de NER em ambientes de mundo aberto onde mudanças de distribuição e ruídos são prevalentes. Sugere-se que trabalhos futuros estendam isso para outras tarefas de predição estruturada (extração de relação/evento) e paradigmas de NER generativos.