VietJobs: A Vietnamese Job Advertisement Dataset

O artigo apresenta o VietJobs, o primeiro grande corpus público de anúncios de emprego vietnamitas com mais de 48 mil postagens, que serve como um novo marco para pesquisa em PLN e análise de mercado de trabalho, incluindo benchmarks de modelos de linguagem generativa para tarefas como classificação de categorias e estimativa de salários.

O essencial

Imagine que o mercado de trabalho do Vietnã é uma cidade gigante e vibrante, cheia de milhões de pessoas procurando emprego e empresas procurando talentos. Durante anos, os pesquisadores tentaram entender como essa cidade funciona, mas tinham apenas um mapa desenhado à mão, cheio de buracos e feito em inglês, ignorando a língua local e os detalhes da cultura.

Este artigo apresenta o VietJobs, que é como se fosse o primeiro "Google Maps" completo e em alta definição desse mercado de trabalho vietnamita.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Grande Inventário (O Dataset)

Os autores (uma equipe de pesquisadores da VinUniversity) foram como colecionadores de borboletas, mas em vez de borboletas, eles coletaram 48.092 anúncios de emprego de todo o Vietnã.

• A Escala: Eles não pegaram apenas alguns; pegaram anúncios de todas as 34 províncias do país. São mais de 15 milhões de palavras.
• A Diversidade: É como se eles tivessem organizado uma biblioteca gigante onde cada livro é um anúncio de emprego. Tem desde vagas para "vendedores" e "mecânicos" (os mais comuns) até vagas raras para "tradutores" ou "agricultores".
• O Tesouro Escondido: Diferente de outros bancos de dados que só tinham o título do emprego (ex: "Engenheiro"), este tem o texto completo, o salário (quando disponível) e os requisitos. É como ter a receita completa do bolo, e não apenas o nome do bolo.

2. O Desafio da Tradução e Organização

O texto original dos anúncios estava bagunçado. Alguns diziam "Analista Financeiro" e outros "Contador", mas eram a mesma coisa.

• A Limpeza: Os pesquisadores agiram como jardineiros que podaram um bosque selvagem. Eles organizaram tudo em 16 categorias principais (como "Tecnologia", "Vendas", "Saúde"), criando um sistema de classificação que faz sentido para computadores e humanos.
• O Salário: Eles também tentaram decifrar os salários. Muitos anúncios diziam "salário a combinar" (o que é um mistério), mas em 70% dos casos, havia números. Eles transformaram isso em dados claros para que pudéssemos ver quanto as pessoas ganham de verdade.

3. A Prova de Fogo (Testando a Inteligência Artificial)

Agora que eles tinham esse "mapa" perfeito, queriam ver se as Inteligências Artificiais (IAs) modernas conseguiam entendê-lo. Eles usaram IAs famosas (como Qwen, Llama e outras especializadas no Sudeste Asiático) para fazer duas tarefas:

• Tarefa 1: O Detetive de Categorias

  • O Desafio: A IA lê o anúncio e tem que adivinhar: "Isso é vaga de TI ou de Vendas?".
  • O Resultado: As IAs que foram treinadas com exemplos (como um aluno que faz exercícios antes da prova) acertaram muito mais. A IA Qwen e a Llama-SEA-LION (uma IA feita especificamente para a Ásia) foram as melhores "detetives".

• Tarefa 2: O Adivinho de Salários

  • O Desafio: A IA lê a vaga e tenta chutar: "Quanto essa pessoa vai ganhar?".
  • O Resultado: Isso é difícil, como tentar adivinhar o preço de uma casa só olhando a foto. Mas, quando as IAs foram "treinadas" com os dados do VietJobs e de outro banco de dados, elas ficaram muito melhores. A Llama-SEA-LION foi a campeã, mostrando que IAs que entendem a cultura local funcionam melhor do que as genéricas.

4. Por que isso importa? (A Analogia Final)

Antes deste trabalho, tentar analisar o mercado de trabalho vietnamita era como tentar ouvir uma conversa em um estádio lotado usando fones de ouvido com defeito. Você ouvia alguns sons, mas não entendia o contexto.

Com o VietJobs, os pesquisadores colocaram fones de ouvido de alta fidelidade na comunidade científica. Agora, eles podem:

• Ouvir claramente quem está sendo contratado e onde.
• Entender se há preconceito (como exigir "jovem e bonito" em vez de qualificação).
• Criar ferramentas de IA que ajudam pessoas a encontrar empregos melhores e empresas a entenderem o que precisam.

Em resumo: Este artigo não é apenas sobre dados; é sobre dar voz e visibilidade a um mercado de trabalho enorme que antes era invisível para a tecnologia, permitindo que a inteligência artificial ajude a construir uma economia mais justa e eficiente no Vietnã.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "VietJobs: A Vietnamese Job Advertisement Dataset", apresentado em português:

Título: VietJobs: Um Dataset de Anúncios de Emprego Vietnamita

1. O Problema

O mercado de trabalho do Vietnã tem crescido rapidamente com a transformação digital, mas a pesquisa em Processamento de Linguagem Natural (NLP) focada em anúncios de emprego vietnamitas permanece subdesenvolvida. Existem lacunas significativas devido à:

• Escassez de Dados: Falta de grandes corpora públicos, bem anotados e linguisticamente representativos para análise computacional.
• Complexidade Linguística: A estrutura tonal, a morfologia composta e a frequente troca de código (code-switching) entre vietnamita e inglês dificultam a tokenização e a interpretação semântica.
• Viés e Transparência: Anúncios de emprego muitas vezes refletem normas sociais (gênero, idade, aparência) e frequentemente omitem informações salariais, dificultando análises de equidade e previsões econômicas.
• Limitação de Recursos: A maioria dos estudos anteriores foca em idiomas de alto recurso (como o inglês), deixando contextos de recursos limitados, como o vietnamita, negligenciados.

2. Metodologia

Coleta e Construção do Dataset (VietJobs):

• Fonte: Os dados foram coletados em julho de 2025 a partir da plataforma de recrutamento online TopCV.vn.
• Escala: O corpus contém 48.092 anúncios de emprego, cobrindo todas as 34 províncias e municípios do Vietnã, com mais de 15 milhões de palavras.
• Processamento: Utilizou-se o framework de código aberto Crawl4AI para extração de URLs e LLMs (GPT-4o e Gemini 2.5) para parseamento e extração estruturada de HTML, garantindo a integridade linguística do texto.
• Normalização:
  • Categorias: As 24 categorias originais foram mapeadas para um esquema unificado de 16 domínios ocupacionais (baseado em padrões como ISCO-08 e O*NET).
  • Salários: Informações salariais foram normalizadas em campos quantitativos (mínimo, máximo e médio em milhões de VND), com 71,5% dos anúncios contendo faixas salariais explícitas.
• Diversidade: O dataset inclui informações sobre títulos de emprego, habilidades, condições de contrato (tempo integral, parcial, estágio) e benefícios.

Experimentos e Avaliação:
Os autores avaliaram o desempenho de vários Grandes Modelos de Linguagem (LLMs) em duas tarefas principais:

1. Classificação de Categoria de Emprego: Prever uma das 16 categorias padronizadas a partir da descrição textual.
2. Estimativa de Salário: Prever o valor do salário (em milhões de VND) com base em atributos estruturados (título, localização, experiência, etc.).

Configuração dos Modelos:

• Modelos Testados: Uma suíte diversificada de LLMs, incluindo modelos multilíngues globais (Qwen2.5, Llama-3.1), modelos focados no Sudeste Asiático (Llama-SEA-LION, Sailor2, SeaLLMs) e modelos especializados em vietnamita (PhoGPT, BloomVN, Vistral).
• Cenários de Avaliação:
  • Zero-shot: Sem exemplos de treinamento.
  • Few-shot: Com poucos exemplos em contexto.
  • Fine-tuned: Ajuste fino usando LoRA (Low-Rank Adaptation) com 80% dos dados para treino, 10% para validação e 10% para teste.
• Métricas:
  • Classificação: Acurácia e Macro F1.
  • Estimativa de Salário: RMSE (Raiz do Erro Quadrático Médio) e R² (Coeficiente de Determinação).

3. Principais Contribuições

• Primeiro Dataset de Grande Escala: O VietJobs é o primeiro corpus público e de grande escala dedicado a anúncios de emprego vietnamitas, preenchendo uma lacuna crítica em recursos de NLP de baixo recurso.
• Estrutura Rica e Anotada: Fornece não apenas texto bruto, mas metadados estruturados essenciais para análise de mercado de trabalho (salários, categorias normalizadas, localização geográfica).
• Benchmarks para LLMs: Estabelece uma linha de base rigorosa para a avaliação de modelos de linguagem em tarefas de recrutamento vietnamita, comparando abordagens globais, regionais e locais.
• Análise de Viés e Diversidade: Facilita o estudo de disparidades regionais, variações linguísticas e representatividade socioeconômica no mercado de trabalho vietnamita.

4. Resultados

Classificação de Categorias de Emprego:

• Desempenho Zero-shot/Few-shot: O modelo Qwen2.5-7B-Instruct demonstrou o melhor desempenho, alcançando 0,31 de acurácia (zero-shot) e 0,47 (few-shot). Isso sugere que modelos multilíngues de grande escala generalizam bem mesmo sem treinamento específico no domínio vietnamita.
• Fine-tuning: O ajuste fino não superou consistentemente o few-shot prompting e, em alguns casos (como no Ministral-8B), levou a uma queda de desempenho, possivelmente devido ao overfitting.
• Modelos Específicos: Modelos treinados exclusivamente em vietnamita (como PhoGPT) tiveram desempenho inconsistente ou nulo em zero-shot, indicando que o pré-treinamento multilíngue massivo ainda é vantajoso para a compreensão de tarefas complexas.

Estimativa de Salário:

• Melhor Modelo: O Llama-SEA-LION-v3-8B-IT (focado no Sudeste Asiático) foi o mais robusto e consistente em todos os cenários.
  • Zero-shot: RMSE de 11,72 e R² de 0,07.
  • Few-shot: RMSE de 10,65 e R² de 0,16.
• Impacto do Fine-tuning: O ajuste fino melhorou significativamente a precisão. O melhor resultado foi obtido ao fazer o fine-tuning no VietJobs combinado com outro dataset vietnamita (Vietnam Jobs Dataset), alcançando um RMSE de 10,24 e R² de 0,23 para o Llama-SEA-LION.
• Conclusão: A adaptação de domínio (fine-tuning) e a diversidade de dados são cruciais para prever salários com precisão em contextos de baixo recurso.

5. Significado e Impacto

• Avanço no NLP Vietnamita: O VietJobs serve como um recurso fundamental para pesquisas futuras em análise de linguagem de recrutamento, detecção de viés e modelagem de mercado de trabalho no Sudeste Asiático.
• Ferramenta para Políticas Públicas e Pesquisa Social: Permite analisar como a linguagem reflete normas sociais (idade, gênero, aparência) e como isso impacta as oportunidades de emprego e os salários.
• Direção para IA Generativa: Demonstra que, embora modelos globais sejam fortes, modelos regionais ajustados (como Llama-SEA-LION) oferecem o melhor equilíbrio para tarefas específicas de idiomas e culturas locais.
• Reprodutibilidade: Todo o código, dados e recursos estão disponíveis publicamente no GitHub, promovendo a transparência e o avanço colaborativo na área.

Em resumo, o artigo não apenas disponibiliza um dataset valioso, mas também fornece insights críticos sobre como os LLMs podem ser aplicados e otimizados para entender e analisar mercados de trabalho em idiomas de baixo recurso, com implicações diretas para a equidade social e a eficiência econômica.