Resumo Técnico: UCSC NLP no SemEval-2026 Task 10 (PsyCoMark)

Definição do Problema

O artigo aborda a SemEval-2026 Task 10 (PsyCoMark), que foca na detecção de narrativas conspiratórias em textos em inglês. A tarefa é dividida em duas subtarefas distintas:

1. Subtarefa 1 (Extração de Marcadores de Conspiração): Identificar e extrair trechos de texto correspondentes a cinco papéis semânticos específicos: Ator (Actor), Ação (Action), Efeito (Effect), Evidência (Evidence) e Vítima (Victim). O desafio reside no fato de que essas estruturas de papéis aparecem tanto em discursos conspiratórios quanto não conspiratórios (críticos); a distinção depende do enquadramento (framing) e da postura epistêmica, e não apenas da mera presença desses papéis.
2. Subtarefa 2 (Detecção de Conspiração ao Nível de Documento): Classificar documentos inteiros em uma de três categorias: Sim (conspiração), Não (não conspiração) ou Não é possível dizer (Can't tell).

O conjunto de dados consiste em mais de 4.100 publicações do Reddit. Uma dificuldade fundamental observada é a densa anotação de marcadores e o desequilíbrio moderado de classes, particularmente nos rótulos de nível de documento.

Metodologia

Os autores propõem dois sistemas independentes baseados em RoBERTa-large, treinados separadamente sem compartilhamento de parâmetros ou transferência de características entre tarefas.

Subtarefa 1: Extração de Trechos Consciente de Fronteiras (Boundary-Aware Span Extraction)

Em vez de marcação ao nível de token, os autores formulam a tarefa como classificação de trechos multilabel sobre candidatos enumerados.

• Arquitetura: O modelo enumera todos os trechos candidatos até um comprimento máximo de $L=32$ tokens. Para cada trecho $(i, j)$, uma representação contextual é construída através da concatenação de:
  • Embeddings dos tokens de início e fim ($h_i, h_j$).
  • Embeddings de média ponderada (mean-pooled) dos tokens dentro do trecho ($\bar{h}_{i:j}$).
  • Um embedding aprendido que codifica a largura do trecho ($w_{emb}$).
  • Embeddings de contexto dos tokens imediatos à esquerda e à direita ($h_{i-1}, h_{j+1}$).
    Este vetor de 6 componentes (dimensão 6144) é passado por um MLP de duas camadas para prever os cinco papéis.
• Estratégia de Treinamento:
  • Rotulagem: Para forçar o aprendizado preciso das fronteiras, um trecho candidato é rotulado como positivo apenas se sua Interseção sobre União (IoU) com um trecho padrão (gold) for $\ge 0,95$.
  • Amostragem: Uma estratégia de amostragem de três níveis é utilizada para lidar com o número esmagador de trechos negativos: (1) todos os trechos alinhados ao padrão (gold), (2) negativos difíceis (trechos com sobreposição parcial, IoU $\in [0,50, 0,75)$), e (3) negativos aleatórios sem sobreposição.
  • Perda (Loss): Cross-Entropy Binária com logits, ponderada por papel para abordar o desequilíbrio de classes.
• Decodificação: As previsões passam por pós-processamento envolvendo o limiar de probabilidade por papel (ajustado na validação) e Supressão de Não-Máximo (NMS) baseada em contenção. O NMS remove trechos sobrepostos com base em razões de contenção e limiares de IoU, seguido pela fusão de trechos adjacentes do mesmo papel separados por pequenos intervalos de caracteres.

Subtarefa 2: Classificação de Documento

• Arquitetura: Uma abordagem padrão de classificação de sequência usando a representação do token [CLS] do RoBERTa-large.
• Treinamento: O modelo é ajustado (fine-tuned) com perda de Cross-Entropy e suavização de rótulos (label smoothing) ($\alpha=0,05$) para reduzir o excesso de confiança. Uma divisão estratificada de 90/10 treino-validação é utilizada.
• Independência: Este modelo opera exclusivamente no texto bruto, ignorando as previsões de trechos da Subtarefa 1 durante o treinamento e a inferência.

Resultados Principais

• Subtarefa 1: O sistema classificou-se em 7º lugar entre as equipes participantes com um F1 macro de 0,2251 no conjunto de teste oficial (avaliado com IoU ao nível de token $\ge 0,5$).
  • Validação Interna: O modelo alcançou um F1 micro decodificado de 0,6501 no conjunto de validação (usando IoU ao nível de caractere $\ge 0,3$).
  • Disparidade de Desempenho: A queda no desempenho é atribuída à métrica de avaliação de nível de token mais rigorosa e à sensibilidade dos papéis abstratos (Ação, Efeito, Evidência) aos critérios de fronteira. Papéis do tipo entidade (Ator, Vítima) mostraram maior robustez.
• Subtarefa 2: O sistema classificou-se em 12º lugar com um F1 ponderado de 0,7694 no conjunto de teste oficial.
  • Nota: A avaliação oficial excluiu instâncias de "Não é possível dizer", computando métricas sobre 608 amostras, o que difere da configuração de três classes da validação.

Significância e Alegações

O artigo afirma que sua principal contribuição reside na formulação específica da extração de trechos para marcadores de conspiração e na análise da sensibilidade de fronteira.

• Mineração de Negativos Difíceis (Hard Negative Mining): Os autores identificam o uso de negativos difíceis (trechos com sobreposição parcial) como crucial para evitar que o modelo preveja trechos excessivamente amplos, thereby refinando a localização da fronteira.
• Independência vs. Acoplamento: O sistema demonstra que, embora a extração de marcadores e a classificação de documentos sejam intrinsecamente relacionadas, elas podem ser modeladas de forma independente. O classificador de documentos alcançou um desempenho competitivo sem recursos explícitos de papéis, sugerindo que sinais de conspiração podem ser aprendidos diretamente do texto bruto.
• Alinhamento de Avaliação: O artigo enfatiza que o desempenho é altamente sensível ao alinhamento entre as métricas de desenvolvimento e o protocolo de avaliação oficial. A discrepância entre os escores de validação e de teste é atribuída principalmente à mudança de critérios de IoU de nível de caractere relaxados durante o desenvolvimento para critérios de nível de token estritos na avaliação final.
• Limitações: Os autores reconhecem modestamente que os papéis abstratos permanecem difíceis devido à abstração semântica e aos comprimentos variáveis dos trechos. Eles observam que o comprimento máximo fixo de trecho ($L=32$) pode impor um teto de recall para marcadores mais longos e de múltiplas cláusulas.

O trabalho conclui que, embora os sistemas atuais possam aprender sinais de conspiração, melhorias futuras podem exigir a modelagem conjunta de papéis e classificação, decodificação estruturada de trechos e a integração de características psicolinguísticas para distinguir melhor o enquadramento conspiratório da narrativa crítica.