Resumo Técnico: DD-GEPA

Declaração do Problema

Ambientes de chat multiusuário, como Slack e IRC, frequentemente contêm diálogos entrelaçados onde múltiplos participantes discutem diferentes tópicos simultaneamente. Esse "entrelaçamento" complica a análise automática, pois enunciados de tópicos não relacionados podem ser confundidos com contexto relevante. O desentrelaçamento de diálogo visa particionar uma sequência entrelaçada de enunciados em clusters de diálogo coerentes baseados em relações de resposta.

Embora os Grandes Modelos de Linguagem (LLMs) possuam fortes capacidades de raciocínio contextual, sua aplicação inicial ao desentrelaçamento de diálogo resultou em baixa precisão, muitas vezes ficando aquém dos métodos tradicionais não baseados em LLM. Trabalhos subsequentes demonstraram que o design de prompts pode melhorar significamente o desempenho, mas a eficácia de componentes específicos de prompt (como atribuição de nível de diálogo ou contexto subsequente) varia entre diferentes LLMs. Além disso, a elaboração manual de prompts otimizados é difícil devido à ambiguidade inerente às diretrizes de anotação e à alta sensibilidade do desempenho do LLM a detalhes de formatação e instrução. Consequentemente, permanece a necessidade de um método robusto e automático para otimizar prompts para o desentrelaçamento de diálogo baseado em LLM, particularmente para modelos de pesos abertos, onde preocupações com privacidade exigem implantação local.

Metodologia

O artigo propõe o DD-GEPA, um framework de otimização automática de prompts adaptado do GEPA (Agrawal et al., 2026), um método projetado para sistemas de IA compostos. O núcleo da abordagem envolve a decomposição do prompt de desentrelaçamento de diálogo em três módulos distintos e otimizáveis:

1. Instrução de Tarefa: Define a tarefa, explica os critérios para decisões de atribuição e especifica a evidência a ser utilizada.
2. Representação de Enunciado: Especifica como os metadados do enunciado (índice, carimbo de data/hora, ID do locutor) e o conteúdo são formatados para o LLM (ex: JSON, texto rotulado).
3. Instrução de Saída: Dicta o formato da previsão do modelo (ex: chaves JSON específicas, flags booleanas).

Processo de Otimização:
O DD-GEPA mantém um pool de "programas" candidatos (combinações dos três módulos). O ciclo de otimização procede da seguinte forma:

• Seleção: Um programa candidato é selecionado do pool usando seleção baseada em Pareto, priorizando aqueles com pontuações totais mais altas em um conjunto de validação, enquanto remove candidatos dominados.
• Traços de Execução: O programa selecionado é executado em um minibatch de instâncias de treinamento. Traços de execução são coletados, incluindo a entrada, saída, texto de raciocínio e correção da decisão. Para decisões incorretas, um LLM é instruído a gerar uma explicação de falha.
• Atualização de Módulo: O otimizador seleciona um módulo para atualizar (em ordem round-robin). Usando os traços coletados e as explicações de falha, o LLM gera uma versão aprimorada do módulo selecionado.
  • Para Representação de Enunciado, o LLM propõe um novo formato, e uma função externa gera código para converter os dados brutos para este formato.
  • Para Instrução de Saída, o LLM propõe um novo esquema de saída, e uma função externa gera código para analisar a saída bruta do modelo para o formato de avaliação padrão.
• Avaliação: O novo programa é avaliado no minibatch. Se ele melhorar o desempenho, é adicionado ao pool de candidatos e, subsequentemente, avaliado em um conjunto de validação maior.

O processo itera por um número fixo de etapas, selecionando o programa com a maior pontuação de validação como o prompt otimizado final.

Principais Contribuições

• Otimização Automática de Prompt para Desentrelaçamento: O artigo introduz o DD-GEPA, o primeiro método para otimizar automaticamente prompts especificamente para o desentrelaçamento de diálogo, abordando a dificuldade do design manual para esta tarefa complexa.
• Decomposição Modular: Diferente de abordagens anteriores que tratavam prompts como blocos monolíticos, este trabalho decompõe os prompts em instrução de tarefa, representação de enunciado e instrução de saída, otimizando-os conjuntamente para considerar suas interdependências.
• Adaptação do GEPA: Os autores adaptam o framework GEPA, originalmente projetado para sistemas de IA compostos gerais, para lidar com as restrições específicas do desentrelaçamento de diálogo, incluindo a geração de código de conversão e análise para componentes dinâmicos de prompt.

Resultados Experimentais

Experimentos foram conduzidos no dataset Ubuntu IRC, um benchmark padrão para desentrelaçamento de diálogo. O estudo utilizou o LLM de pesos abertos Qwen3-30B.

• Ganhos de Desempenho: O prompt otimizado ("Optimum") superou significativamente tanto os prompts semente iniciais quanto um forte baseline projetado manualmente (reproduzindo o trabalho de Takada e Mori, 2026) em múltiplas métricas, incluindo Variação de Informação (VI), Índice de Rand Ajustado (ARI) e pontuações F1.
• Comparação com Modelos Proprietários: Embora o modelo de pesos abertos otimizado tenha superado o prompt projetado manualmente no mesmo modelo, ele ainda teve desempenho inferior aos LLMs proprietários (ex: GPT-5.2) usando prompts criados manualmente.
• Limites de Otimização: A trajetória de otimização mostrou melhoria rápida nas primeiras iterações, com o melhor programa encontrado na quinta atualização. Atualizações subsequentes não geraram novos ganhos, sugerindo que o processo de otimização atingiu um platô local ou que os traços de treinamento careciam de diversidade suficiente para guiar novos refinamentos.

Significância e Alegações

O artigo alega que o DD-GEPA fornece um caminho viável para melhorar a precisão do desentrelaçamento de diálogo baseado em LLM sem exigir engenharia de prompt manual. Ao demonstrar que a otimização automática pode superar prompts criados à mão no mesmo modelo de arquitetura, o trabalho destaca o potencial de métodos automatizados para desbloquear as capacidades de LLMs de pesos abertos. Isso é particularmente significativo para aplicações envolvendo dados de chat com informações pessoais, onde modelos de pesos abertos são preferidos em relação a APIs proprietárias.

No entanto, os autores mantêm uma postura modesta em relação ao teto de desempenho final. Eles reconhecem que, mesmo com otimização, a abordagem atual de pesos abertos ainda não iguala o desempenho dos métodos não-LLM mais fortes (ex: DiHRL) ou de LLMs proprietários. O artigo conclui que, embora o DD-GEPA ofereça uma base útil para otimização futura, desafios permanecem em relação à diversidade dos traços de treinamento e à própria dificuldade da tarefa, como evidenciado pela saturação precoce dos ganhos de otimização.