A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar por impressões digitais ou pegadas, você está vasculhando milhões de pequenas notas bagunçadas deixadas por pessoas em uma praça de cidade gigante e caótica. Este é o mundo do Processamento de Linguagem Natural (PLN), um ramo da ciência da computação onde as máquinas aprendem a ler e entender o texto humano. Às vezes, os computadores são ótimos para ler livros formais, mas frequentemente ficam confusos com as gírias, erros de digitação e desabafos emocionais que as pessoas escrevem na vida real. A grande questão aqui é: podemos ensinar um computador a detectar os sussurros específicos e raivosos que indicam corrupção ou irregularidades em acordos governamentais públicos, mesmo quando esses sussurros estão enterrados sob uma montanha de reclamações e perguntas entediantes? Isso importa porque o dinheiro público é um recurso enorme e, quando as pessoas se envolvem em irregularidades, todos perdem. Se pudermos construir um "detector de mentiras" digital que leia essas notas, poderemos pegar os maus atores antes que eles roubem a confiança do público.

Este artigo conta a história de uma equipe de pesquisadores que construiu um sistema de detetive inteligente de duas etapas para encontrar linguagem "acusatória" no sistema de compras públicas do Equador. Pense na compra pública como o governo fazendo compras de tudo, desde reparos de estradas até materiais escolares. Antes que o acordo final seja feito, os fornecedores podem fazer perguntas ou deixar comentários. A maioria desses comentários é inofensiva, como "Você pode explicar esta regra?" ou "Eu não gosto do preço". Mas alguns são sussurros perigosos como "Este negócio é manipulado" ou "Eles só estão deixando uma empresa vencer". O desafio é que esses sussurros perigosos são raros — como encontrar uma única agulha vermelha em um palheiro de um milhão de agulhas azuis.

Os pesquisadores tentaram usar os computadores de "superleitura" mais tecnológicos e caros disponíveis (chamados de Grandes Modelos de Linguagem como LLaMA e RoBERA) para encontrar essas agulhas. Eles esperavam que essas ferramentas poderosas fossem as melhores. No entanto, descobriram algo surpreendente: os computadores sofisticados e pesados ficaram, na verdade, muito confusos com o texto informal e bagunçado. Eles viram as agulhas, mas não conseguiram separá-las do feno. Em vez disso, a equipe descobriu que uma ferramenta muito mais simples, antiga e leve chamada Word2Vec, que foi treinada especificamente na linguagem local e nas gírias desses comentários de compras públicas, funcionou perfeitamente. Foi como trocar um detector de metais de alta potência e superdimensionado que apita para tudo, por um ímã simples e bem ajustado que só pega o metal específico que eles estavam procurando.

A solução da equipe foi um pipeline "em cascata", que é apenas uma maneira elegante de dizer que eles usaram um filtro antes da verificação final. Primeiro, usaram a ferramenta simples Word2Vec para agrupar comentários semelhantes, como separar uma pilha de cartas misturadas em envelopes baseados no estilo da caligrafia. Em seguida, usaram um método matemático (Modelos de Mistura Gaussiana) para encontrar o envelope específico que era mais provamente conter as cartas "acusatórias". Finalmente, usaram um classificador padrão e confiável (um algoritmo de Floresta Aleatória/Random Forest) para ler apenas essas cartas específicas e decidir se eram verdadeiramente acusações de corrupção.

Os resultados foram impressionantes. Mesmo que os comentários "acusatórios" representassem apenas cerca de 3% do total de dados (um desequilíbrio severo), este sistema simples de duas etapas capturou 91% deles (recall) com 84% de precisão (precision). Isso sugere que você não precisa de um supercomputador massivo e caro para resolver este problema; um sistema leve e inteligentemente treinado pode fazer o trabalho tão bem quanto, ou até melhor. O artigo descarta explicitamente a ideia de que os modelos de IA mais novos e complexos são automaticamente a melhor escolha para esta tarefa específica, ruidosa e do mundo real. Embora os modelos sofisticados tenham mostrado potencial, eles lutaram com a "anisotropia" dos dados — uma forma técnica de dizer que os dados foram esmagados em um formato que confundiu os modelos complexos. O modelo mais simples, treinado diretamente nos comentários bagunçados do mundo real, lidou muito melhor com o caos.

Os pesquisadores também testaram seu sistema em uma enorme pilha de dados não rotulados (comentários que ainda não haviam sido verificados manualmente). O sistema sinalizou cerca de 1.892 potenciais acusações de um total de quase 93.000 comentários. Quando verificaram manualmente uma amostra desses comentários sinalizados, descobriram que cerca de 84% eram de fato acusações reais de corrupção ou irregularidades. Isso sugere que o sistema é robusto o suficiente para ser usado como um vigia em tempo real dos gastos governamentais. No entanto, o artigo observa uma limitação: o sistema é bom em detectar acusações diretas, mas pode perder comentários sutis, sarcásticos ou irônicos que não utilizam as palavras-chave usuais de "corrupção".

No fim, este artigo mostra que, às vezes, a melhor maneira de resolver um problema complexo não é jogar a tecnologia mais poderosa sobre ele, mas sim construir um processo inteligente e personalizado que entenda as peculiaridades específicas dos dados. Ao combinar um embedding simples e específico do domínio com uma estratégia de filtragem inteligente, os pesquisadores criaram uma ferramenta que é rápida, barata de operar e eficaz em lançar luz sobre as sombras onde a corrupção se esconde. Eles sugerem que esta abordagem pode ser adaptada para outros países, desde que esses países tenham seus dados de compras públicas organizados de uma forma que os computadores possam ler facilmente.