💻 ciência da computação

What Do Resume–Job Matching Benchmarks Actually Measure? Keywords, Embeddings and LLMs on Public Data

Este artigo avalia criticamente os benchmarks públicos de correspondência entre currículo e vaga, demonstrando que os métodos atuais frequentemente dependem de vazamento de dados e rótulos ruidosos, são vulneráveis a artefatos de formatação superficiais como markdown e oferecem apenas ganhos modestos sobre baselines simples de palavras-chave (com juízes de LLM não superando significativamente os embeddings), recomendando, assim, protocolos de avaliação mais rigorosos, incluindo divisões de currículos não vistos e limpeza de dados.

Autor original: Nusrat Jahan Rita

Publicado 2026-11-11✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autor original: Nusrat Jahan Rita

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Todos os dias, milhões de pessoas se candidatam a empregos enviando currículos digitais para sistemas automatizados. Esses sistemas atuam como os primeiros porteiros, analisando milhares de candidaturas para decidir quais candidatos humanos valem o tempo de um recrutador. Durante anos, essas ferramentas dependeram de buscas simples por palavras-chave, procurando correspondências exatas entre as palavras de uma descrição de cargo e as palavras de um currículo. Recentemente, porém, a tecnologia mudou em direção a uma inteligência artificial mais sofisticada. Esses novos sistemas utilizam "embeddings", um método que converte texto em representações matemáticas para entender o significado por trás das palavras, em vez de apenas contá-las. Ainda mais avançados são os grandes modelos de linguagem, que podem ler e raciocinar sobre textos complexos de forma muito semelhante a um ser humano. A promessa dessas ferramentas é um processo de contratação mais justo e eficiente, onde os melhores candidatos sobem ao topo com base em suas qualificações reais.

Mas como sabemos se esses sistemas estão realmente funcionando como pretendido? A maior parte da pesquisa por trás dessas ferramentas depende de dados privados de propriedade de grandes empresas, tornando impossível para cientistas externos verificarem os resultados ou checarem se os dados de treinamento estavam falhos. Para entender o que realmente está acontecendo, uma pesquisadora chamada Nusrat Jahan Rita decidiu auditar o único conjunto de dados público disponível que avalia o quão bem um currículo se ajusta a um emprego. Este conjunto de dados contém milhares de pares de descrições de cargos e currículos, cada um rotulado por humanos como um "Bom Ajuste" (Good Fit), um "Ajuste Potencial" (Potential Fit) ou "Sem Ajuste" (No Fit). O objetivo era ver se os métodos mais recentes de inteligência artificial realmente melhoram as decisões de contratação ou se estão simplesmente explorando padrões ocultos nos dados que nada têm a ver com a real adequação de um candidato.

A investigação começou testando três tipos diferentes de métodos de correspondência nesses dados públicos. Primeiro, a pesquisadora comparou a abordagem antiga de palavras-chave contra os novos sistemas de embeddings. Os resultados mostraram que os modelos de embedding tiveram um desempenho ligeiramente superior, classificando os candidatos com mais precisão do que a busca por palavras-chave. No entanto, a melhoria foi modesta. A descoberta mais surpreendente veio quando a pesquisadora examinou como os dados foram divididos para teste. Na configuração padrão, um currículo pode aparecer nos dados de treinamento para um emprego e, depois, ser testado contra um emprego diferente. Como o sistema já tinha visto esse currículo específico antes, ele poderia simplesmente memorizar o rótulo do primeiro emprego e aplicá-lo ao segundo. Quando a pesquisadora removeu esses currículos repetidos do conjunto de treinamento para garantir que o sistema estivesse realmente aprendendo a combinar novos candidatos, o desempenho dos modelos avançados caiu significativamente. Isso revelou que grande parte do sucesso relatado em estudos anteriores devia-se, na verdade, ao sistema reconhecer o próprio currículo, em vez de compreender a conexão entre o currículo e o novo emprego.

O estudo também colocou à prova um pequeno modelo de linguagem de código aberto, pedindo-lhe que atuasse como um juiz para classificar os candidatos. Embora este modelo pudesse ler o texto e tomar uma decisão, ele não teve um desempenho significativamente melhor do que os sistemas de embedding mais simples. Mais importante ainda, ele era vastamente mais lento, levando cerca de 850 vezes mais tempo para processar uma única candidatura do que os modelos de embedding. Para uma plataforma de contratação que precisa filtrar milhares de candidaturas rapidamente, essa diferença de velocidade torna o modelo de linguagem caro uma escolha prática ruim, apesar de sua capacidade de raciocinar através do texto.

Talvez a descoberta mais crítica tenha incidido sobre a qualidade dos próprios rótulos humanos. O conjunto de dados assumia que a distinção entre um "Bom Ajuste" e um "Ajuste Potencial" era uma medida clara de quão bem um candidato correspondia a um cargo específico. No entanto, a análise mostrou que esses rótulos eram frequentemente determinados mais pela descrição do cargo ou pelo próprio currículo do que pelo ajuste real entre os dois. Em muitos casos, todos os candidatos para um determinado emprego recebiam o mesmo rótulo, independentemente de suas diferenças individuais. Quando a pesquisadora pediu a um segundo humano para reavaliar cegamente uma amostra desses pares, o acordo entre os dois humanos foi muito baixo. Na verdade, o segundo humano concordou com os rótulos do conjunto de dados original com mais frequência do que concordou com o primeiro humano. Isso sugere que os rótulos no conjunto de dados público são ruidosos e inconsistentes, o que significa que treinar um computador para prever esses rótulos pode ser apenas ensinar o computador a imitar a confusão humana, em vez de encontrar o melhor candidato.

Finalmente, o estudo descobriu um viés sutil, mas poderoso, relacionado à formatação. A pesquisadora pegou currículos e adicionou marcas de formatação padrão, como títulos em negrito e tópicos, sem alterar uma única palavra do conteúdo. Quando esses currículos formatados foram inseridos nos modelos de embedding, suas pontuações saltaram dramaticamente. Um candidato com um currículo de texto simples poderia subitamente parecer muito mais qualificado do que um candidato igualmente qualificado com um currículo formatado, simplesmente porque o modelo recompensava a estrutura visual. Esse efeito foi tão forte que ocorreu independentemente do candidato ser realmente um bom ajuste para o cargo ou não. Os modelos não estavam julgando o conteúdo; estavam reagindo ao estilo.

O estudo conclui que, embora as ferramentas modernas de embedding ofereçam uma pequena melhoria sobre a simples busca por palavras-chave, os parâmetros atuais usados para testá-las são profundamente falhos. Os vazamentos de dados permitem que os sistemas obtenham pontuações infladas ao memorizar currículos, os rótulos humanos são pouco confiáveis e os modelos são facilmente enganados por truques de formatação. A pesquisadora recomenda que testes futuros devem impedir estritamente que currículos apareçam tanto nos conjuntos de treinamento quanto nos de teste, foquem na distinção mais clara entre "ajuste" e "sem ajuste" em vez da categoria vaga de "potencial", e removam a formatação antes da análise. Até que essas questões sejam resolvidas, os sistemas automatizados que guiam as decisões de contratação podem estar classificando candidatos com base em quão bem eles se ajustam a um conjunto de dados falho ou quão bem formatados estão, em vez de sua verdadeira capacidade de realizar o trabalho.

Resumo Técnico: O que os Benchmarks de Correspondência entre Currículo e Vaga Realmente Medem?

Problema
Sistemas automatizados de correspondência entre currículo e vaga são críticos para filtrar candidatos em processos de contratação online, mas a área carece de benchmarks públicos confiáveis. A maioria dos modelos de alto desempenho é treinada em dados privados, o que impede a reprodutibilidade e a verificação independente da qualidade das etiquetas ou das divisões de dados. O único conjunto de dados público conhecido com etiquetas de adequação graduadas ("Bom Ajuste", "Ajuste Potencial", "Sem Ajuste") é o conjunto de dados resume-job-description-fit. No entanto, este conjunto de dados carece de documentação sobre a atribuição de etiquetas, protocolos de divisão de dados ou potencial vazamento de dados (data leakage). Este artigo investiga se os benchmarks atuais medem com precisão a adequação do candidato ou se medem inadvertidamente artefatos como memorização de currículos, vieses específicos de vagas ou preferências de formatação.

Metodologia
O estudo conduz uma auditoria abrangente do conjunto de dados resume-job-description-fit (7.987 pares, 351 vagas, 643 currículos) comparando três famílias de métodos e realizando verificações rigorosas de integridade de dados:

Comparação de Métodos:
- Métodos de Palavras-chave: TF-IDF e BM25.
- Embeddings de Sentença: Modelos zero-shot (E5-base-v2, BGE-base-en-v1.5, MPNet) e variantes ajustadas (fine-tuned) (BGE-base com perda CoSENT).
- Juízes de LLM: Pequenos modelos de instrução abertos (Qwen3-4B e Qwen3-1.7B) usados como juízes zero-shot e reclassificadores (re-rankers).
- Baselines: Um baseline de "Prioridade do Currículo" que pontua candidatos baseando-se apenas em seus rótulos históricos em outras vagas (sem nunca ler a descrição da vaga) e um classificador de apenas texto do currículo.
Design Experimental e Divisões:
- Divisão Padrão: As vagas são divididas em 70/15/15, mas 430 de 434 currículos de teste aparecem no conjunto de treinamento (vazamento).
- Divisão Estrita: Remove todos os pares de treinamento que contêm currículos de teste para garantir a avaliação de currículos não vistos.
- Validação Cruzada 5×5: Uma abordagem de grade para separar os efeitos da memorização de currículos do tamanho do conjunto de treinamento.
- Teste de Viés de Formatação: Os currículos foram reescritos por uma IA (Phi-4-mini) para melhorar o estilo sem adicionar fatos, e o markdown foi adicionado/removido para isolar os efeitos de formatação nas pontuações de embedding.
Auditoria de Rótulos:
- Relabelagem Humana: O autor e um segundo anotador relabelaram cegamente 150 e 40 casos, respectivamente, para avaliar a concordância com os rótulos originais do conjunto de dados.
- Análise Estatística: Utilizou-se NDCG@10, AUC (Ajuste vs. Sem Ajuste e Bom vs. Potencial) e o coeficiente $\kappa$ de Cohen para concordância. A significância estatística foi testada via testes de permutação pareados e reamostragem de bootstrap.

Contribuições Principais

Auditoria de Benchmark Reprodutível: A primeira comparação de ranking reprodutível de palavras-chave, embeddings e LLMs no único benchmark público de ajuste de currículo-vaga graduado, incluindo testes de significância por vaga e análise de custo em hardware gratuito.
Evidência de Vazamento de Dados: Demonstrou que a divisão padrão do conjunto de dados permite que 430 de 434 currículos de teste apareçam no treinamento. O artigo quantifica que o ganho de desempenho dos modelos ajustados é impulsionado majoritariamente pelo fato de terem visto esses currículos específicos, e não apenas por aprenderem sinais gerais de ajuste.
Auditoria de Confiabilidade de Rótulos: Revelou que os rótulos "Bom vs. Potencial" são determinados em grande parte pela identidade específica da vaga e do currículo, e não pela qualidade do ajuste entre eles. A concordância humana com os rótulos do conjunto de dados é fraca ( $\kappa \approx 0,32$ ), e a concordância entre anotadores é ainda menor.
Descoberta de Viés de Formatação: Identificou que modelos de embedding da família E5 recompensam significativamente a formatação markdown (ex: cabeçalhos em negrito, tópicos) mesmo quando o conteúdo permanece inalterado. Adicionar markdown aumentou as pontuações em 0,91 desvios padrão, independentemente do ajuste real do candidato.
Recomendações Práticas: Propôs um protocolo de "divisão estrita", o uso de "ajuste vs. sem ajuste" como o alvo principal em vez de rótulos granulares, e a necessidade de baselines de apenas currículo para detectar memorização.

Resultados

Embeddings vs. Palavras-chave: Embeddings zero-shot (E5, BGE) superaram o TF-IDF significativamente, mas de forma modesta (NDCG@10: 0,739 vs. 0,706).
Ajuste Fino e Memorização: O ajuste fino melhorou o desempenho (NDCG@10 0,833 na divisão padrão), mas esse ganho colapsou quando os currículos de teste foram excluídos do treinamento (caindo para 0,791). A diferença entre as divisões padrão e estrita é quase inteiramente atribuível ao modelo ter visto os currículos anteriormente.
Juízes de LLM: O juiz Qwen3-4B não superou significativamente os embeddings zero-shot (NDCG@10 0,807 vs. 0,784), mas foi aproximadamente 850 vezes mais lento (27s vs. 0,03s por vaga).
Qualidade dos Rótulos: Nenhum método consciente da vaga separou o ajuste "Bom" do "Potencial" significativamente melhor do que o acaso contra os rótulos do conjunto de dados. Inversamente, um baseline que ignorou a descrição da vaga alcançou um AUC de 0,727 para "Bom vs. Potencial", sugerindo que o rótulo reflete características do currículo mais do que o ajuste.
Concordância Humana: A relabelagem cega do autor concordou fracamente com o conjunto de dados ( $\kappa = 0,324$ para ajuste vs. sem ajuste). Um segundo anotador concordou com o conjunto de dados mais do que com o autor, indicando que nenhuma fonte única serve como padrão ouro.
Viés de Formatação: As pontuações do E5-base aumentaram 0,74 SD para currículos polidos por IA e 0,91 SD para currículos com adição de markdown, sem uma melhoria correspondente no ajuste real. Esse viés afetou candidatos com e sem ajuste igualmente.

Significância e Alegações
O artigo argumenta que as pontuações de ranking atuais neste benchmark refletem o quão de perto um método imita um processo de rotulagem desconhecido e ruidoso, em vez de quão bem ele julga a adequação do candidato. O autor afirma que:

O vazamento infla o desempenho: Divisões agrupadas por vaga permitem que o ajuste fino pareça mais eficaz do que realmente é, ao permitir que os modelos memorizem currículos específicos.
Os rótulos são pouco confiáveis: A distinção "Bom vs. Potencial" não é um sinal robusto para ranking; "Ajuste vs. Sem Ajuste" é um alvo mais confiável.
A formatação é um fator de confusão: Modelos de embedding podem ser manipulados pela apresentação (markdown) em vez do conteúdo, representando um risco para a equidade no recrutamento automatizado.
LLMs não são uma solução definitiva: Pequenos LLMs abertos não oferecem ganhos significativos de precisão sobre embeddings eficientes para esta tarefa e incorrem em custos de latência proibitivos.

O autor conclui que trabalhos futuros exigem divisões de dados estritas (currículos não vistos), rótulos multianotadores confiáveis e etapas de pré-processamento para remover o viés de formatação antes do embedding. A autora disponibiliza seu código, divisões e rótulos humanos para facilitar essas melhorias.

Mais como este