From Synthetic to Native: Benchmarking Multilingual Intent Classification in Logistics Customer Service

Título: De Sintético para Nativo: Avaliação de Classificação de Intenção Multilíngue no Atendimento ao Cliente de Logística

1. O Problema

A classificação de intenção é fundamental para sistemas de atendimento ao cliente automatizados em plataformas logísticas globais. No entanto, existem lacunas críticas nos benchmarks multilíngues atuais:

• Viés de Tradução: A maioria dos conjuntos de dados existentes (como MTOP e MASSIVE) utiliza textos gerados por tradução automática ou coleta controlada. Esses dados tendem a ser mais limpos e padronizados do que as consultas reais dos usuários.
• Falta de Realismo: Consultas reais de clientes são frequentemente curtas, ruidosas (com erros de digitação, gírias, abreviações), misturam idiomas (code-mixing) e seguem distribuições de "cauda longa" (onde poucos intenções são frequentes e muitas são raras).
• Superestimação de Desempenho: Avaliar modelos em dados traduzidos (sintéticos) pode levar a uma superestimação otimista da robustez do modelo em cenários de produção reais (nativos), especialmente para intenções de cauda longa e transferência entre idiomas.

2. Metodologia e Construção do Dataset

Os autores criaram um novo benchmark público e realista derivado de logs reais de atendimento ao cliente da J&T Express.

• Coleta e Limpeza:
  • A partir de 600.000 registros históricos, foram extraídas aproximadamente 30.000 consultas de usuários desidentificadas.
  • O processo envolveu filtragem baseada em regras, verificação de qualidade assistida por LLMs (Large Language Models) e verificação humana para remover informações sensíveis (como números de rastreamento e endereços), duplicatas e templates de bots.
• Taxonomia Hierárquica:
  • As intenções foram organizadas em uma hierarquia de dois níveis: 13 intenções pai (categorias operacionais amplas) e 17 intenções folha (detalhes operacionais específicos).
  • Isso permite avaliar tanto a classificação grosseira quanto a classificação fina.
• Línguas:
  • Vistas (Seen): Inglês, Espanhol e Árabe (usados para treinamento).
  • Não vistas (Zero-shot): Indonésio, Chinês e outras línguas de teste (usadas para avaliar transferência sem supervisão no idioma alvo).
• Comparação Nativo vs. Sintético:
  • Um diferencial chave é a criação de conjuntos de teste pareados:
    1. Nativo: Consultas reais dos usuários.
    2. Sintético: As mesmas consultas traduzidas para o idioma alvo usando um sistema de tradução (TranslateGemma-27B), mantendo a semântica da intenção, mas removendo o ruído natural.
  • Isso permite medir diretamente a "lacuna sintético-nativo".

3. Contribuições Principais

1. Novo Benchmark Público: Lançamento de um dataset realista para classificação hierárquica de intenção multilíngue em logística, com um pipeline de curadoria que combina desidentificação, filtragem e controle de qualidade.
2. Medição da Lacuna Sintético-Nativo: Fornecimento de conjuntos de teste pareados (nativo e traduzido) para quantificar como a tradução artificial infla o desempenho dos modelos em comparação com dados reais e ruidosos.
3. Avaliação Abrangente de Modelos: Benchmarking de diversas arquiteturas, incluindo:
   • Codificadores multilíngues (mBERT, XLM-R, MMBERT).
   • Modelos baseados em embeddings (EmbeddingGemma).
   • Pequenos Modelos de Linguagem (SLMs) instruídos (Gemma 3, Qwen).
   • LLMs fechados via API (DeepSeek, Seed, Qwen-Max).
4. Protocolos de Avaliação: Testes sob condições de classificação plana (flat) e hierárquica, focando em robustez a ruído, generalização cruzada e desempenho em cauda longa.

4. Resultados Chave

• A Lacuna Sintético-Nativo:
  • Os modelos obtiveram consistentemente desempenho superior nos conjuntos de teste traduzidos em comparação com os nativos.
  • A diferença foi particularmente grande para intenções de cauda longa e em cenários de transferência zero-shot (línguas não vistas). Isso confirma que benchmarks baseados em tradução superestimam a robustez real.
• Desempenho dos Modelos:
  • SLMs Superam Codificadores Tradicionais: O modelo Gemma 3 270M (um modelo generativo causal leve) superou o MMBERT (307M parâmetros, especializado em classificação) em várias configurações, incluindo condições de avaliação em chinês e tarefas de classificação plana de 17 vias.
  • Escalabilidade: O Gemma 3 1B obteve o melhor desempenho geral, superando modelos menores e LLMs fechados em tarefas de roteamento fino.
  • Hierarquia: Modelos baseados em LLMs (causal) lidaram naturalmente com a previsão hierárquica, enquanto modelos baseados em BERT exigiram designs adicionais para modelar a hierarquia.
• Robustez Operacional:
  • Ao passar de 13 categorias pai para 17 categorias folha (mais granulares), modelos baseados em BERT sofreram quedas de desempenho maiores do que os modelos Gemma, indicando que os SLMs modernos são mais robustos para distinções operacionais complexas em dados ruidosos.

5. Significado e Impacto

• Mudança de Paradigma na Avaliação: O trabalho alerta a comunidade de IA para o perigo de confiar apenas em dados traduzidos para avaliar sistemas multilíngues de produção. A avaliação deve incluir dados nativos e ruidosos para refletir a realidade.
• Eficácia de Modelos Leves: Demonstra que modelos de linguagem pequenos e instruídos (SLMs) podem ser mais eficazes e robustos do que codificadores tradicionais (BERT-style) para tarefas de roteamento de intenção em cenários logísticos complexos e multilíngues.
• Recurso Prático: O benchmark fornece uma base para desenvolver sistemas de atendimento ao cliente que lidam melhor com a variabilidade lexical, abreviações e distribuições desbalanceadas típicas do tráfego real de logística.

Em resumo, o artigo propõe que a transição de benchmarks sintéticos para nativos é crucial para o desenvolvimento de sistemas de IA robustos, e demonstra que a próxima geração de modelos leves (SLMs) está pronta para superar as soluções tradicionais em ambientes de produção complexos.