MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

Na vasta paisagem da linguagem humana, existe uma tensão constante entre o que é simplesmente verdadeiro e o que é sentido como verdadeiro. Durante décadas, cientistas que trabalham no campo do processamento de linguagem natural tentaram ensinar os computadores a distinguir entre uma afirmação de fato e uma expressão de opinião pessoal. Esta tarefa, conhecida como detecção de subjetividade, é crucial para tudo, desde a classificação de artigos de notícias até a compreensão do sentimento público. No entanto, a abordagem tradicional tem sido frequentemente demasiado simples, tratando a linguagem como um interruptor binário onde uma frase é ou objetiva ou subjetiva. Na realidade, a comunicação humana raramente é tão preto ou branco. Um relatório de notícias pode apresentar um fato enquanto, subtilmente, o molda com a perspectiva de um jornalista; um artigo científico pode apresentar dados concretos enquanto utiliza uma linguagem cautelosa para descrever possibilidades futuras. O desafio reside em capturar este meio-termo fluido, onde a "impressão digital do autor" está escondida dentro de palavras que parecem neutras na superfície.

Uma equipa de investigadores da Universidade de Alicante, em Espanha, deu um passo significativo para resolver este enigma ao criar um novo recurso chamado MUESCA. Em vez de forçar os textos em caixas rígidas, eles construíram um conjunto de dados que trata a subjetividade como uma escala deslizante, ou um continuum. Para o fazer, reuniram e analisaram três tipos de escrita muito diferentes: resumos científicos, que representam o extremo mais objetivo do espectro; críticas de consumidores, que representam o extremo mais subjetivo; e artigos de notícias, que se situam no meio híbrido e confuso. Ao examinar como os autores nestes diferentes géneros utilizam ferramentas linguísticas específicas — como palavras que demonstram certeza, frases que demonstram dúvida ou pronomes que revelam envolvimento pessoal — os investigadores mapearam exatamente como a "voz" do escritor muda através destes estilos. O seu trabalho oferece uma nova forma de medir a presença invisível de um autor humano dentro de um texto, proporcionando um mapa mais matizado para os computadores navegarem no complexo mundo da expressão humana.

O núcleo deste projeto é o corpus MUESCA, uma coleção de 1.865 frases extraídas de 135 documentos. Os investigadores não se limitaram a recolher estas frases; eles anotaram-nas meticulosamente, assinalando características gramaticais e lexicais específicas que indicam o quanto o autor se compromete com o que está a dizer. Eles dividiram estes sinais em dois grupos principais: alto compromisso do autor e baixo compromisso do autor. O alto compromisso inclui marcadores de certeza, como o uso do tempo futuro ou a afirmação de algo como um facto, e marcadores de participação, como o uso de "eu" ou "nós". O baixo compromisso inclui marcadores de dúvida, como o modo subjuntivo ou palavras como "talvez", e marcadores de distanciamento, como o uso da voz passiva para ocultar quem realizou a ação. Ao contar estas características, a equipa pôde observar como os resumos científicos tendem a depender de dados específicos e estruturas impessoais, enquanto as críticas estão repletas de opiniões pessoais e envolvimento direto. Os artigos de notícias, como esperado, mostraram uma mistura de ambos, confirmando o seu estatuto de género híbrido.

Para garantir que as suas descobertas fossem robustas, os investigadores testaram se estes marcadores linguísticos poderiam realmente ajudar os computadores a distinguir entre os diferentes tipos de escrita. Eles treinaram modelos de aprendizagem automática para classificar os textos em categorias objetiva, híbrida ou subjetiva. Quando os modelos recebiam apenas o texto bruto, apresentavam um desempenho razoável, mas quando os investigadores adicionaram os marcadores pragmáticos específicos do seu esquema de anotação, os modelos tornaram-se significativamente melhores na tarefa. A combinação mais eficaz de características envolveu a medição do nível de especificidade e do grau de certeza. Esta abordagem permitiu ao computador compreender não apenas sobre o que o texto tratava, mas como o autor estava a apresentar essa informação. Os resultados foram particularmente fortes para o género de notícias, que é frequentemente o mais difícil de classificar porque mistura factos com interpretação. Ao utilizar estes marcadores pragmáticos, o modelo melhorou a sua capacidade de detetar as formas subtis como os jornalistas moldam as suas histórias.

Os investigadores também exploraram como estas regras desenhadas por humanos poderiam funcionar em conjunto com a inteligência artificial moderna. Eles combinaram os seus marcadores específicos com um poderoso modelo de linguagem chamado BETO, que é treinado em vastas quantidades de texto em espanhol. Embora este modelo avançado já fosse muito bom a compreender a linguagem, a adição dos marcadores de subjetividade específicos ainda melhorou o seu desempenho. A melhoria foi pequena em termos percentuais, mas estatisticamente significativa, sugerindo que as regras explícitas sobre o compromisso do autor ajudaram o computador a resolver ambiguidades que os padrões estatísticos puros não conseguiam detetar. Isto é especialmente verdade para artigos de notícias, onde a precisão do modelo aumentou quando este conseguiu identificar os sinais linguísticos específicos de dúvida ou certeza. O estudo confirma que, embora os grandes modelos de IA sejam poderosos, eles ainda beneficiam de uma compreensão estruturada de como os humanos constroem os seus argumentos e expressam as suas crenças.

Um dos aspetos mais reveladores do estudo foi como o género de notícias se comportou quando colocado contra os outros dois extremos. Quando os investigadores testaram o modelo pedindo-lhe para distinguir notícias de resumos científicos, o modelo achou relativamente fácil distingui-los. No entanto, quando solicitado a distinguir notícias de críticas de consumidores, a tarefa foi mais difícil. Isto sugere que a linguagem do jornalismo, apesar da sua reputação de neutralidade, partilha mais o ADN pragmático de peças de opinião pessoal do que a linguagem desapegada da ciência. Os artigos de notícias continham frequentemente o suficiente de enquadramento subjetivo e linguagem avaliativa para borrar a linha com as críticas, tornando-os mais difíceis de separar do polo subjetivo. Esta descoberta apoia a ideia de que a subjetividade não é uma propriedade fixa de um tipo de texto, mas uma qualidade fluida que pode mudar dependendo de como o autor escolhe apresentar a sua informação.

O projeto MUESCA não pretende afirmar que resolveu inteiramente o problema da detecção de subjetividade, mas fornece uma base sólida para trabalhos futuros. Os investigadores disponibilizaram o seu conjunto de dados e as suas diretrizes de anotação para outros, permitindo que a comunidade científica construa sobre o seu trabalho. Eles planeiam expandir o corpus para incluir mais géneros, como publicações de redes sociais e relatórios técnicos, para ver se o seu método se mantém em ambientes mais informais ou polarizados. Também veem potencial aplicação na deteção de engano, onde a forma como a informação é apresentada — através de certeza ou dúvida — pode ser mais reveladora do que os próprios factos. Ao focar-se na entrega pragmática da informação em vez de apenas no conteúdo, esta abordagem oferece uma nova lente para compreender como os humanos utilizam a linguagem para moldar a realidade. O trabalho demonstra que, ao decompor a complexa tarefa da subjetividade em componentes linguísticos mensuráveis, podemos construir ferramentas que não são apenas mais precisas, mas também mais transparentes sobre como chegam às suas conclusões.