Corrective Retrieval-Augmented Generation Adaptation in Closed Domains for Development of Intelligent Human Resource Management Systems
Este artigo apresenta um estudo de Design Science Research sobre um sistema Smart HR de domínio fechado para PMEs que demonstra que uma adaptação de RAG Corretiva com treinamento de hard-negatives do mesmo capítulo melhora significamente a fidelidade da resposta em relação ao RAG padrão, apesar de um compromisso na acurácia geral.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No ambiente de trabalho moderno, a capacidade de tomar decisões sólidas sobre pessoas é a diferença entre uma empresa próspera e uma que luta para sobreviver. Para pequenas e médias empresas, que formam a espinha dorsal de muitas economias, essa tarefa é frequentemente dificultada pela falta de sistemas formais. Os gestores frequentemente dependem da memória ou de conselhos informais em vez de um guia escrito e confiável ao contratar, avaliar o desempenho ou planejar carreiras. Para ajudar, pesquisadores voltaram-se para um tipo de inteligência artificial que pode ler vastas quantidades de texto e responder perguntas com base no que encontra. Esta tecnologia, conhecida como geração aumentada por recuperação, funciona pesquisando uma biblioteca de documentos para encontrar informações relevantes antes que um modelo de IA escreva uma resposta. Esta abordagem é projetada para impedir que a IA invente coisas, um problema comum onde o computador soa confiante, mas está na verdade inventando fatos. No entanto, as versões padrão desta tecnologia possuem uma falha: elas frequentemente capturam documentos que parecem relacionados, mas que não respondem de fato à pergunta específica, levando a respostas que são vagas ou enganosas.
Uma equipe de pesquisadores da Indonésia e da Malásia propôs-se a corrigir este problema para as necessidades específicas da gestão de recursos humanos. Eles construíram um sistema inteligente projetado para ajudar pequenas empresas a gerir os seus funcionários, respondendo a perguntas estritamente a partir de um único livro autoritativo: a 16ª edição do Armstrong's Handbook of Human Resource Management Practice. Este livro é uma referência padrão para a área, contendo regras estabelecidas e melhores práticas. Os pesquisadores queriam saber se poderiam tornar a IA mais inteligente adicionando duas melhorias específicas. A primeira foi uma etapa de "correção" que verifica se a informação encontrada é realmente útil antes de utilizá-la. A segunda foi uma forma de organizar as páginas do livro com etiquetas extras, como tags ou categorias, para ajudar a pesquisa a encontrar as páginas certas mais facilmente. Eles testaram estas ideias criando um sistema capaz de lidar com três áreas críticas de recursos humanos: contratação de novos funcionários, gestão do desempenho dos colaboradores e planeamento de crescimento na carreira.
Os pesquisadores construíram uma biblioteca digital a partir do manual, dividindo-o em secções pequenas e geríveis. Em seguida, construíram um sistema de múltiplas camadas para processar as perguntas. Uma camada do sistema foi desenhada para adicionar etiquetas descritivas ao texto, como identificar se uma secção era sobre um procedimento, um conceito ou uma comparação. Outra camada atuou como um porteiro rigoroso. Quando o sistema recuperava um texto para responder a uma pergunta, este porteiro avaliava se o texto respondia verdadeiramente à consulta ou se era apenas vagamente relacionado. Se o texto fosse julgado como incorreto ou pouco claro, o sistema não simplesmente adivinhava; ele voltava à biblioteca, reformulava a pergunta e pesquisava novamente dentro do mesmo livro de confiança. Isto garantia que cada resposta permanecesse fundamentada na fonte oficial, nunca derivando para pesquisas não verificadas na internet.
Para verificar se estas mudanças realmente funcionavam, a equipa realizou uma série de testes rigorosos. Criaram 270 perguntas específicas cobrindo os três domínios de recursos humanos, variando desde como estruturar uma entrevista de emprego até quais critérios deveriam ser usados para uma promoção. Em seguida, compararam três versões diferentes do sistema. A primeira era uma versão básica que simplesmente pesquisava e respondia sem quaisquer verificações. A segunda versão utilizava as etiquetas extras para organizar a pesquisa, mas ainda carecia do porteiro. A terceira versão utilizava tanto o mecanismo de correção como o porteiro. Os resultados mostraram um vencedor claro. O sistema com o mecanismo de correção e o porteiro produziu respostas que eram significativamente mais fiéis ao material de origem. Em outras palavras, as respostas que dava podiam ser rastreadas diretamente até às frases específicas do livro que as sustentavam. O sistema corrigiu os seus próprios erros cerca de 28 por cento das vezes, pesquisando novamente e refinando o seu caminho para encontrar a informação correta.
No entanto, o estudo também revelou uma limitação surpreendente. A versão que utilizou apenas as etiquetas extras para organizar a pesquisa, sem o porteiro de correção, não melhorou a qualidade das respostas. De facto, teve um desempenho não superior ao do sistema básico e, em alguns casos, foi ligeiramente pior. Esta descoberta sugere que simplesmente organizar a informação melhor não é suficiente se o sistema não puder verificar se a informação recuperada é de facto a resposta certa. Os investigadores também notaram uma compensação. Embora o sistema corrigido fosse mais fiel à fonte, por vezes obtinha uma pontuação ligeiramente inferior numa medida geral de quão "completa" uma resposta parecia ser. Isto aconteceu porque o sistema era tão cuidadoso em manter-se estritamente ao que estava explicitamente no livro que ocasionalmente deixava de fora contextos úteis que um humano poderia ter adicionado a partir do conhecimento geral. Para uma pequena empresa, no entanto, os investigadores argumentam que manter-se estritamente à fonte verificada é mais importante do que adicionar detalhes extras que possam estar errados.
O estudo conclui que, para campos especializados como os recursos humanos, onde a precisão é crítica, a capacidade de verificar e corrigir os resultados da pesquisa é muito mais valiosa do que simplesmente organizar melhor os dados. Os investigadores demonstraram que, ao construir um sistema que se recusa a adivinhar e, em vez disso, reavalia as suas descobertas, poderiam criar uma ferramenta em que as pequenas empresas pudessem confiar para tomar decisões sobre contratações e promoções. O trabalho prova que a forma mais eficaz de construir um assistente de IA fiável para um domínio específico não é apenas alimentá-lo com mais dados, mas sim dar-lhe um mecanismo para questionar as suas próprias fontes. Esta abordagem garante que o conselho dado a um proprietário de uma empresa não seja apenas um palpite de som confiante, mas um facto verificado extraído de um guia de confiança.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.