Resumo Técnico: Uma Abordagem Agêntica Híbrida Top-Down e Bottom-Up para a Geração de Grafos de Conhecimento

Declaração do Problema

As plataformas de Recursos Humanos (RH), como o marketplace de freelancers europeu Malt, enfrentam um desafio persistente na organização de milhares de declarações de expertise não padronizadas e multilíngues. Essas entradas de texto livre sofrem com fragmentação multilíngue, jargão de nicho, habilidades compostas e uma rápida deriva temporal conforme as ocupações evoluem. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam escalabilidade em relação às taxonomias criadas manualmente, eles introduzem riscos significativos: suscetibilidade a habilidades alucinadas, instabilidade de formatação e falta de fundamentação em metadados verificáveis.

Os métodos de geração existentes dividem-se em dois paradigmas limitados:

1. Top-Down Rígido: Baseia-se em ontologias predefinidas (ex: ESCO) para garantir consistência estrutural, mas falha em capturar conceitos emergentes ou localizados.
2. Bottom-Up Caótico: Identifica tendências novas via agrupamento generativo, mas carece de restrições estruturais, levando à fragmentação semântica (clusters redundantes) e alucinações de ligação.

O artigo propõe uma solução para preencher essa lacuna, criando um sistema que ancora conceitos reconhecidos a entidades de Grafo de Conhecimento (KG) estáveis, enquanto gera dinamicamente novos nós para habilidades não reconhecidas.

Metodologia

Os autores propõem um pipeline híbrido agêntico totalmente automatizado que opera como um loop iterativo, em vez de um processo linear. O sistema ancora um LLM (especificamente o Gemini 1.5 Flash) no grafo de conhecimento multilíngue Wikidata para garantir verificabilidade, enquanto utiliza um padrão de reflexão agêntica para sintetizar conceitos emergentes.

O pipeline consiste em cinco estágios distintos:

1. Reconciliação Semântica (Fundamentação):

   • Menções de habilidades ruidosas e não padronizadas são mapeadas para identificadores de entidades estáveis do Wikidata (QIDs).
   • O sistema enriquece a entrada bruta com contexto específico do domínio, consultando o grafo de perfil de usuário da plataforma por habilidades de pares e categorias profissionais coocorrentes.
   • O LLM realiza a desambiguação, gerando um payload JSON com o QID selecionado, pontuações de confiança e flags booleanas (ex: is_skill, is_compound).

2. Canonicidade (Agrupamento/Clustering):

   • Entradas validadas são agrupadas por combinações únicas de QID.
   • O LLM sintetiza rótulos preferenciais localizados em cinco idiomas alvo (Inglês, Francês, Alemão, Holandês, Espanhol).
   • Uma hierarquia de fallback estrita é aplicada: prioriza o uso empírico da plataforma, seguido de títulos ontológicos oficiais, gerando rótulos novos apenas quando necessário. Cada rótulo é marcado com sua procedência.

3. Curadoria Ativa (Reflexão):

   • Um agente impulsionado por LLM valida a equivalência estrita das habilidades brutas contra seus agrupamentos de entidades mais amplos.
   • Habilidades não equivalentes são rejeitadas com base em sete critérios granulares (ex: SPECIALIZATION, SEMANTIC_MISMATCH).
   • Crucialmente, conceitos rejeitados não são descartados; o agente gera um suggested_pref_label e marca o conceito como um "outlier" para ser processado na próxima etapa. Nós com altas taxas de rejeição (>50%) disparam revisão humana (human-in-the-loop).

4. Consolidação (Deduplicação):

   • Para manter a consistência global entre execuções incrementais, o sistema funde subgrafos sobrepostos.
   • Utiliza uma estratégia de bootstrapping assimétrica: novos nós são comparados contra uma base de referência em crescimento contínuo.
   • Heurísticas leves (interseção de membros, similaridade lexical) sinalizam potenciais fusões, que o LLM então avalia para decidir entre MERGE ou KEEP_SEPARATE.

5. Iteração (Recuperação de Órfãos):

   • Conceitos "órfãos" rejeitados (ex: "Gestão de Projetos Web" quando o âncora é "Gestão de Projetos") recebem um identificador sintético derivado de seu suggested_pref_label.
   • Esses órfãos são reinjetados no próximo ciclo de geração (Época). Como conceitos idênticos recebem rótulos sugeridos idênticos, eles se agrupam naturalmente em subgrafos unificados.
   • Este loop se repete até que a fila de órfãos esteja vazia, alcançando convergência semântica e criando arestas relacionais refinadas que a base do Wikidata não possui.

Principais Contribuições

O artigo delineia três contribuições primárias:

• Extração de Habilidades Híbrida: Combina a integração de KG estruturado com o parsing dinâmico bottom-up para capturar tanto padrões globais estabelecidos quanto a expertise de cauda longa emergente, enriquecida com metadados contextuais.
• Padronização Multilíngue: Impõe restrições de esquema estrutural para suportar representações consistentes em cinco idiomas, reduzindo significativamente as saídas alucinadas.
• Autorrefinamento Iterativo: Introduz um loop multi-agente de reflexão onde agentes analisam e corrigem iterativamente as saídas intermediárias, permitindo a consolidação progressiva de conceitos fragmentados e melhorando a coerência taxonômica.

Resultados

O pipeline foi avaliado em um conjunto de dados proprietário de 36.037 strings de expertise bruta da plataforma Malt.

• Cobertura de Vocabulário e Compressão:

  • Cobertura Global: 77% das entradas foram mapeadas com sucesso para um nó de KG (27.743 resolvidas).
  • Compressão Semântica: As 27.743 variações mapeadas foram consolidadas em 13.298 nós de habilidades canônicas, representando uma taxa de compressão de 52,1%.
  • Simetria Cross-Lingual: 100% dos 13.298 nós canônicos são totalmente suportados em todos os cinco locais alvo, gerando 66.490 rótulos preferenciais padronizados.
  • Eficiência: A Média de Habilidades por Nó (ASpN) é de 2,08, demonstrando uma efetiva consolidação de vocabulário.

• Precisão:

  • Contra um padrão ouro anotado manualmente, o pipeline pré-consolidação alcançou uma Cobertura de Alinhamento Global de 79,7% e uma Cobertura de Encontrados de 84,9%.
  • O desempenho variou por domínio, com campos altamente estruturados como Video Games (91,8% de Cobertura de Encontrados) superando campos subjetivos como Comunicação (81,0%).
  • A Taxa de Erro de Suposição (WGR) foi de 19,1%, atribuída à ambiguidade semântica dos inputs de usuários não gerenciados.

• Procedência e Pureza:

  • 80,65% do grafo de conhecimento está estritamente ancorado em dados fatuais (67,28% uso empírico da plataforma, 22,08% títulos do Wikidata).
  • Apenas 19,35% foi gerativamente sintetizado para resolver conceitos emergentes, provando que a estrutura está enraizada na realidade empírica.
  • A coerência estrutural é alta, com taxas de erro marginais (0,01 a 0,06 outliers por subgrafo) e o agente de Curadoria Ativa bloqueou com sucesso 13,7% dos inputs como NOT_A_SKILL.

Significância e Alegações

O artigo afirma que esta abordagem híbrida fornece um framework altamente escalável, explicável e auto-regenerativo para gerar grafos de conhecimento de habilidades abrangentes a partir de textos ruidosos e não estruturados.

• Preenchendo a Lacuna: O sistema equilibra com sucesso a precisão das ontologias top-down com a flexibilidade da geração bottom-up. Ele ancora conceitos reconhecidos em entidades estáveis do Wikidata enquanto se adapta autonomamente a menções de habilidades rápidas e ruidosas.
• IA Responsável: Ao ancorar estritamente entidades reconhecidas em um KG determinístico e reservar a reflexão generativa não restringida apenas para habilidades não mapeadas, o sistema mitiga alucinações e vieses.
• Utilidade Prática: A taxonomia estruturada resultante já está integrada nos algoritmos de matching de candidatos da Malt, melhorando a interpretabilidade e auditabilidade dos sistemas de RH automatizados.
• Escalabilidade: A arquitetura não está presa a uma única estrutura semântica e pode integrar bases de dados externas alternativas. Os autores observam que os resultados poderiam provavelmente ser replicados usando modelos de linguagem pequenos (SLMs) de código aberto comparáveis, devido à dependência de fundamentação externa em vez de raciocínio interno complexo.

Os autores mantêm um tom modesto, reconhecendo que este representa um passo inicial para modelar a complexidade do mercado de trabalho moderno. Eles identificam trabalhos futuros voltados para o tratamento de vieses de representação (especialmente em relação à linguagem de gênero em línguas flexionadas) e para a realização de avaliações estendidas contra outras abordagens de IA e padrões como o ESCO.