When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators

Na vasta e pulsante infraestrutura do comércio moderno, os dados são a moeda que mantém as luzes acesas. Cada vez que um cliente pesquisa um produto, recebe uma recomendação ou vê uma atualização de preço, um enorme banco de dados está sendo consultado. Mas esses bancos de dados são desorganizados. Eles estão repletos de entradas duplicadas, nomes de marcas escritos incorretamente e registros que parecem semelhantes, mas referem-se a coisas diferentes. Por décadas, as empresas confiaram em sistemas rígidos, baseados em regras, para limpar essa bagunça. Esses sistemas funcionam como um bibliotecário rigoroso que verifica se dois títulos de livros estão escritos exatamente da mesma forma; se estiverem, os livros são os mesmos. Se não estiverem, são diferentes. Essa abordagem é rápida e confiável, mas falha quando os dados se tornam complicados, como quando um produto é listado sob um apelido ou uma marca subsidiária. Recentemente, um novo tipo de programa de computador, conhecido como modelo de linguagem de grande escala, entrou em cena. Esses modelos são treinados em quantidades enormes de texto e podem compreender o contexto e o significado de uma forma que regras simples não conseguem. Eles prometem atuar como editores inteligentes, detectando erros que um checklist rígido deixaria passar. Mas, à medida que as organizações consideram trocar suas ferramentas antigas por essas novas e flexíveis, uma questão crítica permanece: esses editores inteligentes são realmente consistentes e oferecem uma vantagem real sobre os métodos antigos, ou são apenas palpites caros?

Um pesquisador em Katmandu partiu para responder a isso, submetendo um modelo de linguagem de grande escala específico a teste em duas tarefas comuns de qualidade de dados. A primeira tarefa foi a correspondência de entidades, que envolve decidir se duas listagens de produtos descrevem exatamente o mesmo item. O pesquisador testou o modelo contra um conjunto de dados de mais de dois mil pares de registros de produtos, comparando seu desempenho com um sistema simples baseado em regras que procurava por palavras sobrepostas. Os resultados foram surpreendentes. O sistema simples baseado em regras, que dependia da contagem de palavras compartilhadas, teve um desempenho quase perfeito, identificando corretamente correspondências em noventa e cinco por cento dos casos. O modelo de linguagem de grande escala, usando um comando direto sem instruções especiais, teve um desempenho tão bom quanto, alcançando uma pontuação quase idêntica. Neste cenário específico, onde os nomes dos produtos eram amplamente literais e compartilhavam muitas palavras, a inteligência avançada do modelo não ofereceu nenhum benefício real sobre o método básico de contagem de palavras. O modelo não ficou mais inteligente; ele simplesmente igualou o desempenho da ferramenta mais antiga e barata.

A história mudou quando o pesquisador testou o modelo em um problema diferente: a detecção de erro de rotulagem de marca. Aqui, a tarefa era determinar se um produto estava atribuído ao fabricante correto. O pesquisador criou um conjunto de teste de quinhentas listagens de produtos, algumas das quais haviam sido deliberadamente trocadas com nomes de marcas errados. O sistema simples baseado em regras, que verificava se o nome do fabricante aparecia literalmente no título do produto, falhou drasticamente. Ele sinalizou quase todos os itens como erro porque não conseguia entender que um produto poderia ser fabricado por uma empresa controladora ou vendido sob o nome de uma subsidiária. O modelo de linguagem de grande escala, no entanto, baseou-se em seu conhecimento interno de como as marcas se relacionam entre si. Ele reconheceu que um produto rotulado com a abreviação de um código de negociação (ticker) era, na verdade, fabricado pela empresa com o nome completo, e identificou corretamente esses relacionamentos. Nesta tarefa, o modelo superou significativamente o sistema baseado em regras, detectando erros que o checklist simples deixou passar inteiramente. Isso demonstrou que o valor do modelo depende inteiramente do trabalho: ele brilha quando a tarefa exige compreensão de contexto e conhecimento de base, mas oferece pouca vantagem quando a resposta pode ser encontrada simplesmente olhando para o texto.

Além da precisão, o estudo também investigou um perigo oculto no uso desses modelos: a consistência. Se um editor humano lê o mesmo documento duas vezes, ele deve dar a mesma resposta. Se um programa de computador dá uma resposta diferente cada vez que lhe é feita a mesma pergunta, ele se torna pouco confiável para a tomada de decisão automatizada. O pesquisador executou o modelo através das mesmas duzentas tarefas de correspondência cinco vezes seguidas, permitindo-lhe uma pequena quantidade de aleatoriedade em seu processo de pensamento. Os resultados mostraram um nível de concordância quase perfeito. O modelo deu exatamente a mesma resposta para noventa e nove por cento dos itens ao longo das cinco execuções. Esse alto nível de estabilidade sugere que, para esses tipos específicos de decisões binárias, o modelo não é um oráculo caótico, mas um trabalhador confiável. No entanto, o estudo também descobriu que tentar tornar o modelo "mais inteligente" adicionando mais exemplos às suas instruções poderia ser contraproducente. Quando o pesquisador tentou melhorar o desempenho do modelo na tarefa de correspondência, fornecendo exemplos específicos de como lidar com códigos de produtos, o modelo na verdade teve um desempenho pior no conjunto de dados completo do que teve com as instruções simples. O modelo havia sobrecorrigido, tornando-se demasiado dependente dos códigos e perdendo correspondências válidas que não os possuíam. Isso serviu como um aviso de que testar uma nova instrução em uma amostra minúscula pode ser enganoso; o que funciona em um punhado de exemplos nem sempre funciona para o todo.

A conclusão final é um guia matizado para quem deseja utilizar essas ferramentas. Modelos de linguagem de grande escala não são varinhas mágicas que corrigem automaticamente todos os problemas de dados. São ferramentas poderosas que se destacam quando a tarefa exige a compreensão do mundo por trás das palavras, como saber que dois nomes diferentes pertencem à mesma empresa. Mas quando os dados são diretos e as respostas estão visíveis à primeira vista, um método tradicional simples é frequentemente tão bom quanto e muito menos custoso. O estudo sugere que as organizações não devem assumir que esses modelos são superiores em todas as situações. Em vez disso, devem testá-los em seus problemas específicos para ver se a capacidade do modelo de compreender o contexto é realmente necessária. Se os dados forem limpos e as regras claras, os métodos antigos ainda podem ser a melhor escolha. Se os dados forem desorganizados e os relacionamentos complexos, o modelo pode ser a chave para desbloquear a verdade. O caminho a seguir não é substituir todos os sistemas antigos por novos, mas escolher a ferramenta certa para o trabalho específico em questão.