Not Worth Mentioning? A Pilot Study on Salient Proposition Annotation

Título: Não Vale a Pena Mencionar? Um Estudo Piloto sobre Anotação de Saliência de Proposições

1. Problema e Motivação

O artigo aborda uma lacuna significativa no processamento de linguagem natural (PLN): embora haja uma longa tradição em sumarização extrativa (que visa recuperar as partes mais importantes de um texto), pouco trabalho foi feito para operacionalizar e medir a saliência de proposições em dados naturais.

• O Desafio: Diferente da anotação de entidades (que já possui métodos estabelecidos, embora com desafios de subjetividade), não há um consenso sobre quais proposições devem ser consideradas salientes, como definir essa saliência de forma operacional ou como medi-la quantitativamente.
• Limitação de Trabalhos Anteriores: Abordagens anteriores baseadas em resumos tendem a ser binárias (mencionado/não mencionado) ou subjetivas. O trabalho de Lin e Zeldes (2025) introduziu uma métrica gradiente para entidades (baseada em quantos resumos diferentes mencionam uma entidade), mas essa metodologia ainda não havia sido aplicada a proposições.

2. Metodologia

Os autores adaptam a metodologia de Saliência de Entidades Baseada em Resumo (SEE) para o nível de proposições.

• Dados: O estudo utiliza o corpus GUM (Georgetown University Multilayer), especificamente o conjunto de teste composto por 32 documentos de 16 gêneros diferentes (acadêmico, biografia, conversa, notícias, etc.), totalizando ~30 mil tokens.
• Definição de Proposições (Markables):
  • Utilizam as Unidades Discursivas Elementares (EDUs) do corpus GUM, baseadas na Teoria da Estrutura Retórica (RST).
  • Adotam uma abordagem de "telhamento" (tiling), onde cada palavra do documento pertence a exatamente uma proposição.
  • EDUs podem ser frases completas, fragmentos (como títulos) ou unidades descontínuas (devido a interjeições ou orações relativas).
• Tarefa de Anotação:
  • Para cada documento, existem 5 resumos humanos.
  • Os anotadores alinham cada EDU (proposição) a cada um dos 5 resumos.
  • Categorias de Alinhamento:
    1. Correspondência Forte (Strong): O resumo refere-se ao mesmo evento/predicado ou entidade.
    2. Alinhamento Aproximado (Approximate): A proposição não é citada literalmente, mas é essencial para o conteúdo do resumo (ex: o resumo menciona o tempo, mas não o predicado que continha a informação temporal).
    3. Componentes: O resumo agrega informações de múltiplas proposições.
    4. Duplicatas: Múltiplas proposições fornecem a mesma informação saliente (redundância).
• Interface: Foi desenvolvida uma interface de anotação personalizada para facilitar o alinhamento e a categorização, disponível publicamente.

3. Contribuições Principais

1. Definição e Avaliação: Propõe e avalia uma abordagem baseada em resumos para medir a saliência gradiente de proposições.
2. Dataset Piloto: Criação de um conjunto de dados anotado com alinhamentos de proposições a resumos, contendo ~19.000 anotações.
3. Análise de Correlação: Estudo preliminar da relação entre a métrica de saliedade proposta e a centralidade de unidades discursivas na Teoria da Estrutura Retórica (RST).
4. Ferramentas: Liberação do código da interface de anotação e das diretrizes para a comunidade.

4. Resultados

• Acordo entre Anotadores (Inter-annotator Agreement):
  • O acordo exato é moderado (Kappa de Cohen ~0,65), o que é esperado dada a subjetividade inerente.
  • O acordo melhora significativamente ao tratar unidades duplicadas como intercambiáveis (Kappa sobe para ~0,84).
  • As maiores discordâncias ocorrem em alinhamentos de "componentes" (agregação de informações) e na distinção entre sobreposição lexical e referência idêntica.
• Distribuição de Saliência:
  • Diferente das entidades (que seguem uma distribuição em U), as pontuações de saliência de proposições seguem um histograma decrescente.
  • A maior parte das proposições salientes aparece em apenas um resumo, indicando uma variância maior na seleção de proposições entre diferentes resumos humanos em comparação com a seleção de entidades.
• Correlação com RST (Centralidade):
  • Existe uma correlação significativa, embora fraca, entre a centralidade na árvore RST (distância da raiz) e a saliência anotada ($r^2 = -0.287$). Proposições mais próximas da raiz tendem a ser mais salientes.
  • Modelo Preditivo: Um modelo de efeitos mistos confirmou que a centralidade é o preditor mais forte de saliência, seguido pelo tipo de relação retórica, comprimento da EDU e posição no documento.
  • Limitação do Modelo: O modelo ainda apresenta um ajuste fraco aos dados ($R^2$ marginal = 0,128) e uma acurácia de classificação binária de apenas 73,98%, pouco superior à linha de base majoritária (72,33%), sugerindo que a centralidade sozinha não explica totalmente a saliência.

5. Significado e Conclusão

O estudo demonstra que é viável operacionalizar a saliência de proposições de forma gradiente usando múltiplos resumos humanos, apesar dos desafios de subjetividade e acordo.

• Implicações: Os resultados sugerem que a seleção de proposições para resumos é mais variável do que a seleção de entidades, e que fatores discursivos (como a posição na estrutura RST) influenciam, mas não determinam totalmente, a saliência.
• Futuro: Os autores planejam anotar o restante do corpus (com ajuda de LLMs para o conjunto de treino) e usar os dados para treinar modelos de sumarização e desenvolver prompts para ensembles de LLMs que visem atingir o desempenho humano.
• Limitações: O estudo é um piloto limitado ao conjunto de teste de um único corpus em inglês contemporâneo. A qualidade das anotações depende da qualidade das segmentações EDU e dos resumos originais do corpus GUM.

Em suma, o artigo fornece uma base empírica e metodológica crucial para avançar na compreensão de como a informação é selecionada em textos, indo além de simples extração de frases para uma análise mais granular de proposições e sua relevância discursiva.