Mira-Embeddings-V1: Domain-Adapted Semantic Reranking for Recruitment via LLM-Synthesized Data

Resumo Técnico: Mira-Embeddings-V1

1. Problema e Contexto

O artigo aborda o desafio crítico de sourcing de candidatos (busca de talentos) no recrutamento. O cenário típico envolve um pipeline de duas etapas:

1. Recuperação (Retrieval): Um sistema de recuperação a montante retorna uma lista curta de candidatos para cada descrição de vaga (JD - Job Description).
2. Reclassificação (Reranking): O objetivo é reordenar essa lista curta para que os candidatos qualificados apareçam o mais alto possível, dentro de um orçamento limitado de revisão pelo recrutador.

O Desafio Principal:

• Foco em Recall: O risco operacional principal não é mostrar um candidato parcialmente inadequado, mas sim perder um candidato verdadeiramente qualificado (falso negativo). Portanto, a otimização deve ser focada em Recall (cobertura), não apenas em precisão.
• Confusão de Fronteiras de Papel (Role-Boundary Confusion): Métodos existentes falham frequentemente em casos de "quase erros" (near-misses). São candidatos que têm títulos ou habilidades sobrepostas, mas falham em critérios críticos como nível de senioridade, escopo de função, ou restrições obrigatórias (ex: certificações).
• Assimetria Heterogênea: As JDs descrevem requisitos futuros (linguagem imperativa), enquanto os CVs narram experiências passadas. Modelos de embedding genéricos tendem a confundir essas diferenças superficiais.

2. Metodologia: Mira-Embeddings-V1

A solução proposta é um sistema de reclassificação semântica adaptado ao domínio de recrutamento, composto por três pilares principais:

A. Geração de Dados Supervisionados via LLM (Pipeline de 5 Estágios)
Em vez de depender de grandes conjuntos de dados rotulados manualmente (que são caros e escassos), os autores utilizam um pipeline de prompts com LLMs para sintetizar dados de treinamento a partir de um conjunto modesto de JDs reais:

1. Extração: Criação de uma âncora estruturada a partir da JD real.
2. Positivos (Paráfrase): Geração de pares JD-JD para robustez a variações de estilo e sinônimos.
3. Positivos (Redução de Ruído): Alinhamento entre resumo da JD e cartão de função.
4. Negativos Difíceis (Fronteiras de Papel): Geração de pares com o mesmo título, mas com escopo/propriedade mais superficial (ex: "Engenheiro Sênior" vs. "Assistente de Engenharia" com o mesmo título).
5. Negativos Difíceis (Conflitos de Restrição): Pares onde uma restrição obrigatória (ex: localização, certificação) é violada, apesar da sobreposição temática.
   Resultado: 28.561 pares JD-JD e 36.173 pares JD-CV sintéticos.

B. Adaptação Progressiva via LoRA (Duas Rodadas)
O modelo base (Jina Embeddings v3) é adaptado em duas etapas sequenciais usando LoRA (Low-Rank Adaptation):

1. Rodada 1 (Alinhamento JD-JD): O modelo aprende a semântica específica de recrutamento e a separar pares que são semanticamente próximos mas pertencem a diferentes fronteiras de papel.
2. Rodada 2 (Alinhamento Tripletos JD-CV): O modelo aprende a preencher a lacuna heterogênea entre a descrição da vaga e o currículo, alinhando as representações dos dois domínios distintos.

C. Cabeça de Reclassificação Leve (BoundaryHead)
Para corrigir erros residuais locais sem o custo computacional de um cross-encoder pesado:

• Um MLP (Perceptron de Camadas Múltiplas) leve é treinado sobre os embeddings congelados.
• Ele recebe os vetores da JD e do CV e calcula um score de "mismatch de fronteira".
• O score final é ajustado: $Score_{final} = Score_{cos} - \lambda \cdot Score_{boundary}$.
• Isso permite penalizar candidatos que parecem bons semanticamente, mas violam fronteiras de papel.

3. Contribuições Principais

1. Reformulação do Problema: Identificação da "confusão de fronteiras de papel" como a principal fonte de erro em pipelines de recrutamento, em vez de apenas relevância semântica geral.
2. Pipeline de Supervisão Sintética de Baixo Custo: Demonstração de que dados sintéticos gerados por LLMs, ancorados em JDs reais, podem criar supervisionamento eficaz para tarefas específicas (robustez a paráfrases, separação de fronteiras, sensibilidade a restrições).
3. Arquitetura de Adaptação Progressiva: Uma abordagem de duas etapas (JD-JD seguida de JD-CV) que supera a necessidade de grandes volumes de dados rotulados manualmente.
4. Correção Local Eficiente: O BoundaryHead oferece ganhos adicionais de precisão e recall na região da lista curta sem introduzir o custo computacional proibitivo de reclassificadores cruzados completos.

4. Resultados Experimentais

Os resultados foram validados em dois conjuntos de dados: um Pool Local (300 JDs reais, cenário de produção) e um Pool Global (44.138 candidatos, validado por LLM).

Desempenho no Pool Local (Recall@K e Precision@K):

• Recall@50: O modelo proposto aumentou o recall de 68,89% (baseline Jina v3) para 77,55%.
• Precision@10: Aumentou de 35,77% para 39,62%, demonstrando que o ganho de recall não veio à custa da qualidade da lista.
• Comparação: O modelo superou encoders genéricos muito maiores (como Qwen3-4B e Jina v4) apesar de ter apenas ~0,6B de parâmetros.

Análise de Ablação:

• A Rodada 1 (JD-JD) melhorou a cobertura semântica, mas reduziu ligeiramente a precisão inicial.
• A Rodada 2 (JD-CV) foi responsável pela maior parte do ganho, alinhando as visões heterogêneas.
• O BoundaryHead adicionou um ganho residual consistente, especialmente na faixa de revisão intermediária (K=30 a K=50).

Pool Global:

• No Pool Global, o modelo alcançou um Recall@200 de 0,7047, contra 0,5969 do baseline, confirmando a consistência dos resultados em uma escala maior.

5. Significado e Conclusão

O trabalho demonstra que, em cenários de alto risco onde o erro de "falso negativo" é crítico (como recrutamento, descoberta legal ou triagem clínica), a solução não é necessariamente um encoder mais massivo, mas sim uma supervisão focada nos modos de falha específicos.

• Eficiência de Dados: É possível obter ganhos robustos de recall expandindo um pequeno conjunto de dados reais com síntese via LLM, evitando a rotulagem industrial massiva.
• Abordagem Híbrida: A combinação de um encoder adaptado (para a maior parte do ganho) com uma cabeça de correção leve (para erros residuais de fronteira) oferece o melhor equilíbrio entre desempenho e custo computacional.
• Limitações: O método assume que a confusão de fronteiras é o erro dominante. Se outros tipos de erro (ex: desalinhamento temporal) forem predominantes, o pipeline de prompts precisaria ser redesenhado.

Em suma, o Mira-Embeddings-V1 estabelece um novo padrão para sistemas de matching de recrutamento, provando que a adaptação de domínio focada em erros específicos supera modelos genéricos de grande escala em cenários práticos de reclassificação.