FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
Este artigo apresenta o FrenchNews-7, um novo benchmark para classificar artigos de notícias francesas em sete categorias editoriais através de múltiplos editores, o qual demonstra que um modelo CamemBERT ajustado supera modelos de linguagem de grande escala zero-shot e revela que o desempenho de classificação varia significamente por categoria, com domínios ambíguos como "Economie" e "Societe" aproximando-se dos limites de concordância humana.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta e ruidosa paisagem das notícias modernas, cada artigo pertence a um departamento específico dentro de um jornal ou website. Assim como uma biblioteca organiza livros em seções distintas como história, ciência ou ficção, as organizações de notícias direcionam as reportagens para mesas editoriais especializadas: uma equipe cuida de esportes, outra cobre política e uma terceira gerencia assuntos internacionais. Para pesquisadores que estudam como diferentes meios de comunicação moldam a opinião pública, a capacidade de classificar automaticamente essas histórias é essencial. Sem isso, comparar como dois jornais cobrem o mesmo evento torna-se uma tarefa manual e impossível. O desafio, entretanto, é que cada editor utiliza seu próprio sistema único para rotular as histórias. Um site pode chamar uma história de "sociedade", enquanto outro a chama de "assuntos domésticos", mesmo que o conteúdo seja idêntico. Para construir uma ferramenta que funcione em todo o panorama midiático francês, os cientistas precisavam de uma maneira de traduzir essas diferentes linguagens internas em um entendimento único e compartilhado.
Um pesquisador criou agora um novo padrão para esta tarefa, chamado FrenchNews-7. Eles reuniram quase 88.000 artigos de notícias de 13 diferentes editores franceses, variando de grandes diários nacionais a veículos exclusivamente digitais e jornais regionais. O objetivo era ensinar um computador a reconhecer a qual mesa editorial uma história pertence, independentemente de qual website a publicou. Para fazer isso, eles primeiro mapearam as sete categorias mais comuns usadas nessas publicações: sociedade, cultura e lazer, notícias internacionais, política doméstica, esportes, economia e ciência e tecnologia. Em seguida, construíram um sistema de rotulagem híbrido. Para cerca de 72 por cento dos artigos, o rótulo era óbvio porque o endereço do site continha o nome da categoria, como um link de web terminando em "/sport" ou "/politics". Para os 28 por cento restantes, onde o endereço era vago ou ausente, o pesquisador usou um grande modelo de linguagem para ler a manchete e o texto completo e atribuir a categoria correta. Este processo foi cuidadosamente verificado tanto por especialistas humanos quanto por inteligência artificial para garantir que os rótulos fossem precisos, resultando em um conjunto de dados onde o acordo entre os avaliadores humanos foi muito alto.
Usando este novo conjunto de dados, o pesquisador treinou vários modelos de computador para realizar a tarefa de classificação. Eles testaram modelos que olhavam apenas para a manchete contra modelos que liam o artigo inteiro. Os resultados mostraram que ler o texto completo proporcionava uma vantagem clara, permitindo que o computador entendesse o contexto de uma história em vez de apenas adivinhar a partir de um título. O sistema de melhor desempenho, um modelo treinado especificamente na língua francesa, alcançou um alto nível de precisão, identificando corretamente a mesa editorial de aproximadamente 80 por cento das histórias que nunca tinha visto antes. Esse desempenho manteve-se verdadeiro mesmo quando o modelo foi testado em quatro novos editores que não faziam parte do grupo de treinamento original. O estudo descobriu que, embora as histórias de esportes e cultura fossem fáceis de classificar, as histórias sobre a economia e a sociedade em geral eram muito mais difíceis de categorizar consistentemente. De fato, quando o pesquisador pediu a especialistas humanos para classificar essas histórias econômicas difíceis de novos editores, os humanos concordaram entre si apenas cerca de 55 por cento das vezes. Isso sugere que a dificuldade não era uma falha na inteligência do computador, mas sim uma ambiguidade genuína na forma como as próprias redações decidem arquivar essas histórias complexas.
O pesquisador também comparou seu modelo especializado com vários sistemas de inteligência artificial poderosos e de propósito geral que não foram treinados com esses dados de notícias específicos. Mesmo com os modelos gerais mais avançados, o modelo francês especializado teve um desempenho superior, particularmente nas categorias complicadas de economia e sociedade. Isso indica que, para tarefas específicas e de alto volume, como a classificação de notícias, um modelo ajustado com a linguagem e estrutura reais do domínio alvo supera uma ferramenta generalista. O pesquisador disponibilizou seu conjunto de dados e seu melhor modelo para o público, permitindo que outros pesquisadores construam sobre este trabalho. Ao fornecer uma maneira confiável de classificar notícias através de diferentes editores, este trabalho oferece uma nova base para estudar como a mídia francesa cobre o mundo, garantindo que análises futuras sejam baseadas em um entendimento consistente e preciso de onde cada história pertence.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.