PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

Título: PROMPT2BOX: Revelando a Estrutura de Entailment entre Prompts de LLMs

1. O Problema

O desenvolvimento de Grandes Modelos de Linguagem (LLMs) requer a identificação precisa de suas fraquezas para guiar a coleta de dados de treinamento. Métodos existentes geralmente incorporam prompts em um espaço vetorial e os agrupam (clustering) hierarquicamente com base na similaridade temática.

No entanto, essa abordagem baseada em vetores possui uma limitação fundamental:

• Foco na Similaridade Temática: Embeddings vetoriais capturam principalmente a similaridade semântica superficial.
• Ignorância da Especificidade: Prompts que compartilham o mesmo tópico, mas diferem em nível de especificidade (e, consequentemente, em dificuldade), são frequentemente representados de forma muito próxima.
• Consequência: Isso dificulta a análise de fraquezas granulares. Por exemplo, se um modelo falha em um prompt muito específico (ex: "escrever uma história de aventura romântica sobre um robô"), mas tem bom desempenho em um prompt geral (ex: "escrever uma história romântica"), a média de desempenho do cluster pode mascarar a falha específica, levando a conclusões erradas sobre a capacidade geral do modelo no tópico.

2. Metodologia: PROMPT2BOX

Os autores propõem o PROMPT2BOX, uma abordagem que mapeia prompts para um espaço de embedding de caixas (box embeddings) em vez de vetores pontuais.

• Representação por Caixas:

  • Cada prompt é representado por um hiper-retângulo (caixa) em um espaço de alta dimensão, definido por um vetor de centro ($a_{center}$) e um vetor de tamanho/largura ($a_{\delta}$).
  • Centro: Captura a localização semântica (similaridade).
  • Tamanho: Captura a especificidade. Prompts gerais são representados por caixas grandes; prompts específicos (com mais restrições) são representados por caixas menores.

• Relação de Entailment (Consequência Lógica):

  • A estrutura geométrica permite modelar relações assimétricas. Se a caixa do prompt A está contida dentro da caixa do prompt B ($Box(A) \subseteq Box(B)$), isso indica que A entails (implica) B.
  • Isso reflete a lógica de que um prompt mais específico (mais restrições) é um subconjunto de um prompt mais geral.

• Treinamento do Encoder:

  • Um encoder é treinado para converter prompts em caixas.
  • Função de Perda: Utiliza aprendizado contrastivo para maximizar a interseção de caixas entre prompts similares e garantir que caixas de prompts que se entailment estejam contidas umas nas outras.
  • Dados de Treinamento: O modelo é treinado em um conjunto diversificado que inclui:
    • Infinity Instruct: Pares instrução-resposta para similaridade semântica.
    • MultiNLI: Para relações de entailment em nível de frase.
    • WildChat (Sintético): Instruções hierárquicas geradas por LLMs para criar relações pai-filho de especificidade.
    • SURI: Para aprender relações de "irmãos" (prompts com mesmo pai, mas restrições diferentes, sem entailment).
    • Linkage Dataset: Uma etapa crucial para conectar os espaços de similaridade e entailment, evitando que o modelo aprenda representações desconexas.

• Redução de Dimensionalidade (BOX-SNE):

  • Como não existem métodos padrão para reduzir a dimensionalidade de caixas, os autores propõem o BOX-SNE.
  • Inspirado no t-SNE, ele otimiza a posição de caixas em 2D preservando tanto a similaridade (volume de interseção) quanto as relações de entailment (contenção).

3. Principais Contribuições

1. PROMPT2BOX: Um novo framework de representação que captura simultaneamente similaridade semântica e relações de especificidade (entailment) através de embeddings de caixas.
2. Síntese de Dados de Entailment: Métodos inovadores para sintetizar grandes volumes de dados de entailment entre prompts, superando a escassez de dados rotulados para essa tarefa.
3. BOX-SNE e Agrupamento Hierárquico: Proposição de um novo método de redução de dimensionalidade para caixas e um algoritmo de agrupamento hierárquico baseado no aumento de volume necessário para fundir caixas.
4. Métricas de Avaliação: Introdução de novas métricas para avaliar similaridade, entailment e especificidade em representações de prompts.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados UltraFeedback (17 LLMs) e em benchmarks intrínsecos (STS-B, SURI, FollowBench).

• Métricas Intrínsecas:
  • O modelo Box superou os vetores basais em tarefas de FollowBench e SURI (entailment), demonstrando melhor capacidade de distinguir prompts específicos de gerais.
  • O modelo Box manteve desempenho competitivo em similaridade semântica (STS-B).
  • A abordagem Box w/o links (sem dados de ligação) teve desempenho superior em entailment, mas o modelo com links ofereceu o melhor equilíbrio global.
• Predição de Pontuação (UltraFeedback):
  • O uso de embeddings de caixas resultou em menor Erro Quadrático Médio (RMSE) ao prever pontuações de resposta de LLMs, indicando que a estrutura de entailment ajuda a prever o desempenho do modelo melhor do que a simples similaridade vetorial.
• Visualização e Análise de Fraquezas:
  • A visualização 2D (BOX-SNE) revelou claramente a diferença de especificidade entre conjuntos de dados (ex: WildBench vs. WildChat), algo que o t-SNE vetorial não conseguiu distinguir.
  • Ao analisar o LLaMA-2-70B, a visualização mostrou que, embora o modelo seja robusto em áreas gerais (azul), ele ainda falha em regiões específicas (pequenas caixas vermelhas dispersas), algo que seria perdido em uma análise vetorial média.
• Agrupamento Hierárquico:
  • O agrupamento baseado em caixas identificou 8,9% mais clusters de fraquezas do que os métodos baseados em vetores.
  • Houve uma correlação 33% mais forte entre a profundidade da árvore hierárquica e a especificidade da instrução, provando que a estrutura hierárquica gerada reflete melhor a dificuldade real dos prompts.

5. Significância e Impacto

O trabalho demonstra que a representação vetorial tradicional é insuficiente para analisar a complexidade e a dificuldade dos prompts de LLMs. Ao introduzir a geometria de caixas, o PROMPT2BOX permite:

• Diagnóstico Preciso: Identificar se uma falha do modelo é devido ao tópico geral ou a restrições específicas dentro desse tópico.
• Melhor Seleção de Dados: Guiar a coleta de dados de treinamento focando em lacunas específicas de desempenho (caixas vermelhas na visualização).
• Interpretabilidade: Fornecer uma visualização intuitiva da hierarquia de dificuldade e especificidade, essencial para o desenvolvimento de LLMs mais robustos e para a criação de benchmarks mais justos.

Em resumo, o PROMPT2BOX avança o estado da arte na análise de prompts ao tratar a especificidade não apenas como uma variação de similaridade, mas como uma relação estrutural de contenção lógica, permitindo uma análise de fraquezas de LLMs muito mais granular e precisa.