Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

A internet tornou-se uma vasta praça pública global onde pessoas de todas as culturas partilham os seus pensamentos, mas este espaço aberto também permite que palavras prejudiciais se espalhem com uma velocidade alarmante. Detetar estas mensagens prejudiciais, conhecidas como discurso de ódio, é uma tarefa difícil para os computadores porque exige a compreensão não apenas das palavras em si, mas da intenção e do contexto por trás delas. Isto é especialmente verdadeiro para línguas que não seguem regras estritas ou que não possuem grandes bibliotecas de exemplos pré-escritos para os computadores aprenderem. O Roman Urdu, uma forma de escrever a língua Urdu utilizando o alfabeto latino, é um exemplo primário de tal língua. É falado por milhões no Paquistão e entre falantes de Urdu em todo o mundo, mas é frequentemente informal, com ortografia e gramática inconsistentes que mudam dependendo de quem está a digitar. Como os programas de computador padrão têm dificuldade com esta falta de estrutura, os investigadores estão à procura de novas formas mais leves de ensinar as máquinas a detetar o discurso de ódio nestes textos desordenados do mundo real, sem necessitarem de quantidades massivas de dados ou de supercomputadores caros.

Uma investigadora chamada Toneema Zubair abordou este desafio testando três métodos diferentes para ver qual deles poderia melhor ensinar um computador a distinguir entre um comentário inofensivo e um odioso. O estudo focou-se num conjunto de dados específico contendo mais de 72.000 comentários recolhidos de redes sociais, onde a grande maioria era inofensiva, mas uma pequena parte continha linguagem tóxica. O primeiro método testado foi simplesmente pedir a um modelo de computador pré-treinado e de grande escala para adivinhar a resposta sem qualquer treino adicional, uma técnica conhecida como prompting de zero shots (zero-shot prompting). O segundo método envolveu dar ao modelo alguns exemplos do que procurar antes de lhe pedir para adivinhar, chamado prompting de poucos shots (few-shot prompting). O terceiro método foi uma abordagem mais técnica conhecida como ajuste fino eficiente de parâmetros (parameter-efficient fine-tuning), onde os investigadores fizeram ajustes muito pequenos e direcionados nas configurações internas do modelo para o ajudar a aprender os padrões específicos do discurso de ódio em Roman Urdu, em vez de tentarem retreinar o modelo inteiro do zero.

Os resultados mostraram que simplesmente pedir ao computador para adivinhar sem qualquer ajuda era frequentemente pouco fiável. Quando os modelos eram deixados por conta própria, frequentemente classificavam incorretamente comentários inofensivos como tóxicos ou perdiam o discurso de ódio real, em grande parte porque a língua era tão informal e o conjunto de dados estava fortemente inclinado para comentários não tóxicos. No entanto, quando os investigadores forneceram aos modelos apenas um punhado de exemplos para os guiar, o desempenho melhorou significamente. O método que produziu os resultados mais consistentes e fiáveis, contudo, foi aquele que fez pequenos ajustes precisos no modelo. Ao realizar o ajuste fino do modelo com estas atualizações leves, o computador aprendeu a reconhecer as nuances subtis do Roman Urdu muito melhor do que o fez apenas com exemplos ou sem ajuda alguma. Esta abordagem permitiu que o modelo alcançasse um alto nível de precisão, identificando corretamente tanto comentários tóxicos como não tóxicos com um equilíbrio que os outros métodos não conseguiram igualar.

O estudo também explorou diferentes formas de estruturar as perguntas feitas ao computador, tais como utilizar estruturas de frases específicas ou adicionar tokens invisíveis e aprendíveis aos prompts. Embora estas variações tenham mostrado potencial e por vezes tenham tido um bom desempenho com pequenas quantidades de dados, não superaram consistentemente o método que ajustou as configurações internas do modelo. A investigação sugere que, embora pedir a um modelo de computador poderoso para adivinhar com base em alguns exemplos seja uma opção rápida e económica em termos de recursos, pode ser imprevisível. Em contrapartida, fazer pequenas mudanças eficientes no próprio modelo proporciona uma solução mais estável e robusta para detetar o discurso de ódio em línguas de baixos recursos, como o Roman Urdu. Esta descoberta é importante porque oferece um caminho prático para a moderação de conteúdos online em regiões onde os dados são escassos e a capacidade de computação é limitada, garantindo que o discurso prejudicial possa ser identificado sem exigir sessões de treino massivas e de alto consumo energético.