SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation
O artigo apresenta um framework baseado em LLMs da SwanNLP para a tarefa 5 do SemEval-2026, demonstrando que modelos grandes com *few-shot prompting* dinâmico e técnicas de *ensembling* alcançam alto desempenho na pontuação de plausibilidade de sentidos de palavras em narrativas, replicando eficazmente os julgamentos humanos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está lendo um conto de fadas curto. De repente, aparece uma palavra que pode significar duas coisas diferentes. Por exemplo: "O banco estava vazio".
- Você está sentado em um banco de praça?
- Ou alguém está sentado no banco de um rio?
Para um computador, isso é um pesadelo. Mas para um humano, o resto da história nos diz qual é o sentido correto. O desafio da SemEval-2026 (uma espécie de Olimpíada de Inteligência Artificial) foi: "Quão provável é que a máquina entenda o sentido certo, como um humano faria?"
A equipe SwanNLP, da Universidade de Swansea, criou uma solução inteligente para isso. Vamos explicar como eles fizeram, usando analogias do dia a dia.
1. O Problema: O "Detetive" Confuso
Antes, as máquinas eram treinadas apenas com frases soltas, como se alguém lesse uma única linha de um livro e tentasse adivinhar o resto. É como tentar adivinhar o final de um filme vendo apenas um quadro aleatório.
O novo desafio (Task 5) usa histórias completas. A IA precisa ler o começo, o meio e o fim para entender a palavra ambígua. O objetivo não é apenas acertar a palavra, mas dar uma nota de 1 a 5 sobre o quão "crível" ou "provável" aquele sentido é para um humano.
2. A Solução: Três Estratégias de Time
A equipe SwanNLP não usou apenas um método. Eles montaram um time com três abordagens diferentes, como se fossem três tipos de detetives:
A. O Estagiário que Aprende com a Prática (Fine-Tuning)
Eles pegaram modelos de IA menores e mais baratos (como o Qwen e o Gemma) e os "treinaram" intensivamente.
- A Analogia: Imagine um estagiário de redação. Você não apenas lhe dá o livro de regras; você mostra milhares de histórias e diz: "Veja, quando a história fala de um rio, 'banco' é a margem. Quando fala de dinheiro, é a instituição."
- O Pulo do Gato: Eles ensinaram o estagiário a pensar antes de responder. Em vez de apenas chutar a nota, o modelo foi treinado para primeiro analisar: "Essa história é fácil ou difícil?" e "O que o final da história sugere?". Isso funcionou muito melhor do que apenas tentar adivinhar.
B. O Consultor com Experiência (Few-Shot Learning)
Para os modelos gigantes e caros (como o GPT-4), eles não precisaram treiná-los do zero. Em vez disso, usaram uma técnica de "consultoria".
- A Analogia: Imagine que você é um juiz e precisa julgar um caso difícil. Antes de dar o veredito, você pede para um assistente trazer 3 exemplos de casos parecidos que já foram julgados por humanos.
- Como funcionou: O sistema procurava na base de dados histórias muito parecidas com a atual (seja fácil ou difícil) e mostrava para a IA: "Olha, nessa história parecida, os humanos deram nota 4. Nessa outra, deram nota 2. Use isso como guia." Isso ajudou a IA a imitar o julgamento humano com muito mais precisão.
C. O Conselho de Sabedoria (Ensemble)
Às vezes, um único detetivo erra. A equipe decidiu criar um "Conselho".
- A Analogia: Em vez de confiar na opinião de uma única pessoa, eles reuniram 5 modelos de IA diferentes para votar.
- O Resultado: Eles misturaram as notas desses 5 "juízes". Se 3 disseram que a nota é 4 e 2 disseram que é 3, o sistema calculou uma média ponderada. Isso simula como um grupo de humanos (5 anotadores) chega a um consenso, reduzindo os erros individuais.
3. O Que Eles Descobriram?
- Pensar é melhor que chutar: Os modelos que foram ensinados a "raciocinar" (explicar o porquê antes de dar a nota) foram muito melhores do que os que apenas tentavam adivinhar.
- Tamanho importa, mas contexto é rei: Os modelos gigantes (como o GPT-4) foram os campeões, especialmente quando receberam exemplos práticos (os 3 casos anteriores). Eles conseguiram imitar o julgamento humano quase perfeitamente.
- A força do grupo: O método de "Conselho" (juntar 5 modelos) melhorou os resultados finais, mostrando que, na dúvida, ouvir várias opiniões é melhor do que confiar em uma só.
4. O Veredito Final
A equipe SwanNLP ficou em 10º lugar no ranking mundial. Embora não tenham ganhado o primeiro lugar, eles provaram algo crucial:
Para entender a ambiguidade nas histórias, a IA não precisa apenas de "memória" (saber o significado das palavras), ela precisa de contexto e raciocínio, exatamente como um humano faz ao ler um livro.
Eles mostraram que, com as técnicas certas (ensinar a pensar, dar exemplos e usar o conselho de vários modelos), as máquinas estão ficando cada vez mais próximas de entender as nuances da nossa linguagem, mesmo quando a história é confusa.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.