DBpedia-Enriched Company Representation for B2B Lead Recommendation

Resumo Técnico: Representação de Empresas Enriquecida com DBpedia para Recomendação de Leads B2B

Definição do Problema
No setor de vendas Business-to-Business (B2B), identificar empresas alvo (leads) a partir de grandes conjuntos de candidatos é um desafio crítico. Os processos de seleção atuais frequentemente dependem de pesquisa manual e fontes de dados fragmentadas. Embora as plataformas B2B modernas centralizem registros de empresas e utilizem embeddings vetoriais aprendidos para recomendação e priorização, os registros nativos das empresas frequentemente sofrem com esparsidade, ruído ou incompletude. Especificamente, descrições internas breves muitas vezes falham em capturar contextos essenciais, como tecnologias específicas, segmentos de mercado ou especializações de negócio. Essa falta de detalhamento torna a priorização de leads difícil, particularmente para empresas de cauda longa ou menos documentadas. O problema central abordado é se o enriquecimento dessas representações de empresas nativas e esparsas com conhecimento semântico externo pode melhorar o desempenho da predição de interações a jusante.

Metodologia
O estudo investiga essa questão dentro da Leadbay.ai, uma plataforma de recomendação de leads B2B implementada nos mercados francês e americano. O pipeline proposto integra atributos estruturados de empresas com embeddings de texto, potencializados por conhecimento da Web Semântica da DBpedia. O processo envolve três fases principais:

1. Engenharia de Atributos (Feature Engineering):

   • Atributos Estruturados: Dados como códigos de setor, tamanho da empresa e localização geográfica são codificados usando encoders específicos de tipo.
   • Embeddings de Texto: As descrições textuais nativas das empresas são transformadas em embeddings usando o modelo all-MiniLM-L6-v2.
   • Enriquecimento via DBpedia: Os campos de texto das empresas são vinculados a entidades da DBpedia. As descrições correspondentes recuperadas da DBpedia são codificadas utilizando o mesmo modelo de texto (all-MiniLM-L6-v2).
   • Fusão: As características nativas e as características derivadas da DBpedia são concatenadas para formar uma matriz de características de empresa unificada.

2. Aprendizado de Representação (Representation Learning):

   • Duas arquiteturas de modelos são avaliadas:
     • Um baseline de SentenceTransformer treinado exclusivamente em descrições de empresas.
     • Um modelo baseado em TabTransformer treinado na combinação de atributos estruturados e embeddings de texto. Este modelo utiliza um objetivo de detecção de corrupção e um esquema de regularização contrastiva informada por metadados baseado em divisões de códigos de setor.

3. Inferência e Avaliação:

   • Na inferência, as empresas do catálogo são codificadas offline em um índice de embedding. Novos registros são processados para gerar embeddings de consulta, e as empresas candidatas são classificadas por similaridade no espaço de embedding compartilhado.
   • Métrica de Avaliação: A qualidade das representações é avaliada via uma tarefa de predição de interação a jusante. Ações explícitas de "curtir" (liked) por usuários de vendas servem como rótulos positivos, enquanto outros resultados são tratados como não positivos. Logs de interação histórica atuam como um proxy industrial para a qualidade da recomendação, visto que os resultados de negócio finais (negócios fechados) dependem de variáveis que vão além do modelo de recomendação (ex: timing, qualidade do acompanhamento).
   • Configuração Experimental: A avaliação compara condições "NoKG" (sem grafo de conhecimento) contra condições enriquecidas com "DBpedia". Um classificador de regressão logística é treinado em embeddings congelados. O conjunto de dados compreende 77 usuários com histórico de interação suficiente.

Principais Resultados
O estudo reporta métricas de desempenho (ROC-AUC, Acurácia, F1, NDCG@10, NDCG@20) médias sobre 77 usuários:

• Baseline SentenceTransformer: O enriquecimento com DBpedia gerou melhorias significativas em todas as métricas. Especificamente, o ROC-AUC aumentou de 0,719 para 0,742 ($p < 0,001$), a Acurácia de 0,710 para 0,718 ($p < 0,05$) e o NDCG@10 de 0,657 para 0,692 ($p < 0,05$).
• Modelo TabTransformer: Este modelo, que já combina atributos estruturados com texto, apresentou ganhos marginais menores. Uma melhoria significativa foi observada apenas na Acurácia (aumentando de 0,630 para 0,659, $p < 0,05$).
• Tendência Geral: Os resultados indicam que as descrições semânticas derivadas da DBpedia proporcionam o benefício mais substancial quando as representações das empresas dependem primordialmente de textos nativos esparsos. Quando a representação base já é rica (combinando dados estruturados e texto), o valor marginal do enriquecimento semântico externo diminui.

Significância e Alegações
O artigo apresenta um estudo industrial demonstrando que a integração do conhecimento do grafo da DBpedia em pipelines de representação de empresas melhora a predição de interação a jusante na recomendação de leads B2B. Os autores alegam que o conhecimento externo da Web Semântica oferece um valor marginal mais alto em cenários onde as representações base são fracas ou estreitas (ex: dependendo apenas de descrições de texto curtas) comparadas a representações heterogêneas mais ricas.

O estudo reconhece que, embora o enriquecimento melhore o desempenho, ele introduz custos operacionais relacionados ao link de entidades, acesso ao conhecimento externo e aumento de atributos. Consequentemente, o retorno sobre o esforço de integração depende da qualidade do link de entidades, da cobertura da DBpedia e do alinhamento entre as descrições da DBpedia e os registros das empresas. Os autores concluem que, embora a abordagem seja eficaz, trabalhos futuros devem explorar fontes de conhecimento mais ricas, melhor link de entidades e métricas online além dos proxies de interação offline.