Iterative Definition Refinement for Zero-Shot Classification via LLM-Based Semantic Prototype Optimization

1. Declaração do Problema

A classificação de conteúdo da web é essencial para a cibersegurança (por exemplo, bloqueio de URLs maliciosas) e conformidade. No entanto, os métodos supervisionados tradicionais exigem grandes conjuntos de dados anotados e lutam contra a natureza dinâmica da web. A classificação zero-shot usando modelos de incorporação (embedding) oferece uma solução ao mapear textos e descrições de categorias em um espaço semântico compartilhado, sem treinamento específico para a tarefa.

A Limitação Central: O desempenho da classificação zero-shot baseada em incorporação está fundamentalmente ligado à qualidade das definições de categoria (protótipos semânticos).

• Se as definições forem vagas, excessivamente gerais ou semanticamente semelhantes entre classes, os protótipos resultantes no espaço de incorporação se sobrepõem.
• Isso leva a uma má classificação sistemática, mesmo ao utilizar modelos de incorporação de última geração.
• As abordagens atuais ou ajustam (fine-tune) modelos (caro, requer dados) ou utilizam definições estáticas (frágeis). Não há mecanismo para melhorar iterativamente as definições em si sem retreinar o modelo.

2. Metodologia

Os autores propõem um framework adaptativo e sem treinamento que utiliza Grandes Modelos de Linguagem (LLMs) para refinar iterativamente as definições de categoria com base no feedback de classificação. O modelo de incorporação permanece congelado durante todo o processo.

2.1. Fluxo de Trabalho Principal

1. Inicialização: As definições de categoria são inicializadas (seja minimamente ou via um LLM).
2. Incorporação e Classificação: Texto e definições são incorporados usando um modelo fundamental congelado. Rótulos são atribuídos via similaridade de cosseno.
3. Loop de Feedback: O sistema calcula métricas de desempenho (Macro F1) e identifica modos de falha (por exemplo, instâncias mal classificadas).
4. Refinamento: Um LLM recebe as definições atuais e sinais de feedback específicos para gerar definições aprimoradas.
5. Iteração: O processo se repete, atualizando as definições até a convergência.

2.2. Três Estratégias de Refinamento

O artigo introduz três estratégias distintas para orientar a otimização do LLM:

• M1: Refinamento Guiado por Exemplos

  • Entrada: Definições atuais + uma amostra rotulada aleatória + pontuação atual de Macro F1.
  • Objetivo: Ancorar definições em características de dados reais para garantir que capturem a essência semântica da categoria.

• M2: Refinamento Consciente de Confusão

  • Entrada: Definições atuais + amostras dos pares de classes mais confusos (top-$k$) (derivados da matriz de confusão) + Macro F1 atual.
  • Objetivo: Alvo especificamente nas fronteiras de decisão onde o classificador falha, forçando o LLM a tornar categorias confusas mais distinguíveis.

• M3: Refinamento Consciente de Histórico com Aceitação Estocástica

  • Entrada: Definições atuais + o histórico dos últimos $m$ conjuntos de definições e suas pontuações + amostras de confusão.
  • Mecanismo: Para evitar que o LLM fique preso em ótimos locais, os autores implementam uma regra de aceitação de Monte Carlo (inspirada em Recozimento Simulado).
  • Lógica: Se uma nova definição melhorar o desempenho, ela é aceita. Se degradar o desempenho, é aceita com uma probabilidade $P = \exp(-\Delta E / T_t)$, onde $T_t$ é um parâmetro de temperatura que diminui ao longo do tempo. Isso permite a "exploração" do espaço de definições no início e a "exploração" (aceitação gananciosa) posteriormente.

3. Contribuições Principais

1. Framework Inovador: O primeiro framework a aplicar refinamento iterativo de protótipos semânticos à classificação de conteúdo da web sem atualizar parâmetros do modelo. Desloca o foco da otimização dos pesos do modelo para a qualidade do prompt/definição.
2. Inovação Estratégica: Introdução de três estratégias de refinamento (Exemplo, Confusão, Histórico) e a integração de uma regra de aceitação de Monte Carlo para navegar efetivamente no espaço de busca de definições.
3. Benchmarks Abrangentes:
   • Avaliado em 13 modelos fundamentais de incorporação de última geração (variando de 278M a 1B de parâmetros).
   • Testado com 4 LLMs diferentes (Gemma, Mistral, GLM, Qwen) para o loop de refinamento.
   • Demonstrou que combinações específicas de LLM/Incorporação produzem resultados ótimos, fornecendo orientação para implantação.
4. Novo Conjunto de Dados (B2MWT-10C): Lançamento de um benchmark rotulado por humanos contendo 10.000 URLs em 10 categorias semanticamente sobrepostas (por exemplo, "Apostas e Jogos" vs. "Lazer e Entretenimento"), projetado especificamente para testar os limites da classificação zero-shot.

4. Resultados Experimentais

O framework foi testado no conjunto de dados N24News e no novo conjunto de dados B2MWT-10C.

• Ganhos de Desempenho:
  • Melhoria Consistente: Cada modelo de incorporação mostrou ganhos de desempenho após o refinamento. Nenhuma execução de refinamento degradou o desempenho em relação à linha de base.
  • Magnitude: No B2MWT-10C, o melhor modelo (Voyage-4-nano) melhorou de uma linha de base de 62,65 para 75,49 (+12,84 pontos).
  • Alto Impacto em Linhas de Base Fracas: Modelos com desempenho inicialmente pobre viram os maiores ganhos relativos. Por exemplo, o Multilingual-e5-large no N24News melhorou de 49,30 para 69,20 (+19,90 pontos).
• Comparação de Estratégias:
  • M3 (Consciente de Histórico) geralmente superou M1 e M2, particularmente quando combinado com a regra de aceitação estocástica.
  • Consciente de Confusão (M2) forneceu ganhos significativos sobre o Guiado por Exemplos (M1), provando que alvejar pontos de falha específicos é mais eficaz do que amostragem aleatória.
• Evidência Visual:
  • Gráficos t-SNE: Mostraram que protótipos de categoria inicialmente sobrepostos (por exemplo, "Mídia" vs. "Opinião") tornaram-se bem separados após o refinamento.
  • Matrizes de Confusão: Demonstraram uma mudança para a dominância diagonal, indicando redução da confusão entre classes semanticamente semelhantes.

5. Significado e Conclusão

Este artigo estabelece a qualidade da definição como um fator crítico, ainda pouco explorado, em sistemas baseados em incorporação.

• Eficiência de Custos: Oferece uma alternativa "sem treinamento" ao ajuste fino (fine-tuning). Organizações podem melhorar a precisão da classificação simplesmente otimizando seus prompts/definições de texto usando um LLM, evitando o custo computacional e os requisitos de dados do retreinamento de modelos de incorporação.
• Adaptabilidade: O framework é altamente adaptável a novas categorias ou conteúdo da web em evolução, pois as definições podem ser refinadas sob demanda com base no feedback real de má classificação.
• Direções Futuras: Os autores sugerem estender essa abordagem para modalidades visuais e Modelos Visão-Linguagem (VLMs), indicando uma aplicabilidade mais ampla além da classificação apenas de texto.

Em resumo, o artigo demonstra que refinar iterativamente as "perguntas" (definições) é tão poderoso quanto refinar as "respostas" (pesos do modelo) para tarefas de classificação zero-shot.