PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
A equipe do PSK@EEUCA 2026 alcançou o 4º lugar no desafio de detecção de toxicidade do World of Tanks ao combinar o Llama 3.1 8B com ajuste fino LoRA e aumento de dados sintéticos de 5% para obter uma pontuação F1-macro de 0,6234, ao mesmo tempo em que identificou uma "armadilha de validação" crítica, na qual alto desempenho de validação falha em generalizar para o conjunto de teste.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um lobby massivo e caótico de jogos online (especificamente para o jogo World of Tanks) onde milhares de jogadores conversam a cada segundo. Na maioria das vezes, as pessoas apenas conversam normalmente, mas às vezes ficam irritadas, insultam umas às outras ou dizem coisas odiosas.
O objetivo desta pesquisa foi construir um "árbitro digital" (uma IA) capaz de ler essas mensagens de chat e classificá-las em seis categorias diferentes:
- Chat normal (A grande maioria)
- Insultos (Chamar alguém de mau jogador)
- Outras ofensas (Desrespeitoso, mas não um ataque direto)
- Ódio/Assédio (Atacar a identidade de alguém)
- Ameaças (Prometer violência)
- Extremismo (Ideologia de ódio)
A equipe, PSK@EEUCA, entrou em uma competição para ver quem conseguiria construir o melhor árbitro. Eles ficaram em 4º lugar entre 35 equipes. Aqui está como fizeram isso, explicado de forma simples.
O Grande Problema: A "Sala Vazia" vs. A "Pequena Multidão"
O principal desafio era que os dados do chat estavam incrivelmente desbalanceados.
- 81% das mensagens eram perfeitamente normais.
- As mensagens "ruins" (como ameaças ou extremismo) eram tão raras que representavam menos de 1% do total.
A Analogia: Imagine tentar ensinar um cachorro a encontrar um tipo específico de flor rara em um campo. Mas 81% do campo é apenas grama, e as flores raras estão escondidas em um cantinho minúsculo. Se você apenas mostrar o campo ao cachorro como ele é, o cachorro aprenderá a apenas dizer "Grama!" toda vez, porque essa é a aposta mais segura. Ele obterá uma pontuação alta nos testes de prática (porque a maior parte do campo é grama), mas falhará quando precisar realmente encontrar as flores raras.
A "Armadilha da Validação" (A Pontuação Falsa)
Os pesquisadores descobriram um problema sorrateiro que chamam de "Armadilha da Validação".
Quando treinaram sua IA, testaram-na em um "conjunto de prática" (dados de validação). Alguns dos maiores e mais poderosos modelos de IA obtiveram pontuações muito altas nesse conjunto de prática. Por quê? Porque estavam sendo excessivamente conservadores. Basicamente, diziam: "Vejo 81% de grama, então vou apenas chutar 'Normal' para quase tudo".
- A Armadilha: Esses modelos pareciam ótimos no teste de prática porque correspondiam perfeitamente ao padrão de "81% normal".
- A Realidade: Quando enfrentaram o teste final (que tinha uma mistura ligeiramente diferente de mensagens), esses modelos "seguros" falharam miseravelmente. Estavam com medo demais de identificar as raras mensagens tóxicas.
A Solução: Um Toque de Dados Sintéticos "Falsos"
Para corrigir isso, a equipe não apenas alimentou a IA com mais registros reais de chat. Eles usaram um truque inteligente: Aumento de Dados Sintéticos.
Pense nisso como uma receita de culinária.
- A IA estava morrendo de fome por exemplos dos raros "ingredientes tóxicos" (como ameaças ou discurso de ódio).
- A equipe usou uma IA poderosa para escrever novas mensagens de chat falsas que soavam exatamente como as reais e tóxicas, mas eram geradas por um computador.
- Eles adicionaram essas mensagens falsas aos dados de treinamento para ajudar a IA a aprender como eram as raras mensagens "ruins".
O Ponto Ideal:
Eles tentaram adicionar diferentes quantidades desses dados "falsos", e foi como encontrar a quantidade perfeita de sal na sopa:
- Muito pouco (2-3%): A IA não aprendeu o suficiente sobre as mensagens raras.
- Muito (10-15%): A IA ficou confusa e começou a pensar que tudo era tóxico, ou memorizou os padrões falsos em vez dos reais.
- Justo (5%): Este foi o número mágico. Adicionar exatamente 5% de dados falsos tornou a IA "mais corajosa". Ela parou de chutar "Normal" para tudo e começou a realmente identificar as raras mensagens tóxicas.
A Estratégia Vencedora
Seu sistema vencedor usou um modelo de IA específico chamado Llama 3.1 8B.
- O Modelo: Um modelo de linguagem inteligente e pré-treinado.
- O Treinamento: Eles o ensinaram usando uma mistura de registros reais de chat e aqueles precisos 5% de mensagens tóxicas sintéticas (falsas).
- O Resultado: Essa combinação permitiu que a IA escapasse da "Armadilha da Validação". Tornou-se disposta a sinalizar as mensagens raras e difíceis, o que levou a uma pontuação muito melhor no teste final.
O Que Aprenderam
- Maior nem sempre é melhor: Um modelo massivo de 12 bilhões de parâmetros realmente performou pior do que o modelo menor de 8 bilhões de parâmetros, porque o grande caiu mais fundo na "Armadilha da Validação".
- Ensembles não ajudaram: Eles tentaram combinar muitos modelos diferentes juntos (como um comitê), mas não funcionou porque seu único melhor modelo já estava fazendo o trabalho pesado.
- A "Armadilha da Validação" é real: Pontuações altas em testes de prática podem ser enganosas se a IA estiver apenas jogando seguro.
A Pontuação Final
Ao encontrar aquele equilíbrio perfeito de 5% de dados sintéticos, seu sistema alcançou uma pontuação de 0,6234, colocando-os em 4º lugar entre 35 equipes. Eles provaram que, às vezes, um pouco de dados "falsos" cuidadosamente elaborados pode ajudar uma IA a entender o mundo real muito melhor.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.