Resumo Técnico: SeDT – Condicionamento de Transformador de Decisão por Transformador de Frase para Confiabilidade em Conversas Multi-turno

1. Declaração do Problema: O Fenômeno "Perdido na Conversa"

Modelos de Linguagem de Grande Porte (LLMs) exibem um colapso significativo de desempenho quando tarefas são reveladas incrementalmente ao longo de múltiplos turnos, em comparação com quando são totalmente especificadas em um único turno. Este fenômeno, documentado como "Perdido na Conversa" (Laban et al., 2025), resulta em uma queda média de desempenho de 39% em modelos de última geração.

Crucialmente, o artigo argumenta que esse colapso é primariamente uma falha de confiabilidade e não uma falha de capacidade. Enquanto a aptidão no melhor caso (percentil 90) cai apenas 16%, a insegurança (a lacuna entre os percentis 90 e 10) mais que dobra (+112%).

A causa raiz é identificada como estrutural:

• Pesagem de Contexto Plana: Conversas multi-turno são concatenadas em uma janela de contexto plana onde cada turno anterior carrega um peso implícito igual.
• Viés de Atenção: Modelos Transformer negligenciam sistematicamente informações do meio do contexto (o viés de atenção em forma de "U"), fazendo com que restrições críticas reveladas no meio de uma conversa sejam tratadas como ruído.
• Modos de Falha: Isso leva ao comprometimento prematuro com respostas, dependência excessiva de respostas intermediárias incorretas, perda de restrições de turnos do meio e deriva verbosa.

Soluções existentes, como ajuste fino (fine-tuning), são impraticáveis no momento da inferência devido à necessidade de dados curados e modificação de pesos. Outras estratégias de gerenciamento de contexto, como "recapitulação" (repetir o histórico), frequentemente falham em distinguir restrições críticas de diálogos incidentais.

2. Metodologia: SeDT

Os autores propõem o SeDT (Condicionamento de Transformador de Decisão por Transformador de Frase), um método sem treinamento e no momento da inferência que resolve a pesagem de contexto plana importando o condicionamento Retorno-para-Ir (RTG) do aprendizado por reforço offline.

2.1 O Paralelo Formal

O SeDT estabelece uma analogia direta entre o Transformador de Decisão (Chen et al., 2021a) e a inferência de LLMs multi-turno:

• Trajetória: O histórico da conversa.
• Etapa: Cada fragmento de informação revelado em um único turno.
• Recompensa: A relevância semântica desse fragmento para o objetivo final de saída.
• Retorno-para-Ir (RTG): Em vez de deixar o modelo inferir a importância, o SeDT anota cada fragmento com uma pontuação cumulativa de relevância ($\hat{R}_t$), representando a totalidade da informação relevante para o objetivo que ainda restará a partir daquele turno em diante.

A entrada para o modelo no turno final é transformada de uma lista plana de turnos em uma sequência de tuplas anotadas: $[(\hat{R}_1, \text{fragmento}_1), \dots, (\hat{R}_T, \text{fragmento}_T)]$.

2.2 Pontuação de Relevância de Três Sinais

Para calcular a relevância de cada fragmento ($rel(t)$), o SeDT combina três sinais complementares:
$$rel(t) = \alpha \cdot sem(t) + \beta \cdot lex(t) + \gamma \cdot pos(t)$$
Onde os pesos são definidos empiricamente como $\alpha=0,6, \beta=0,2, \gamma=0,2$.

1. Sinal Semântico ($sem$): Alinhamento profundo entre o fragmento e uma "âncora de objetivo" tipificada de tarefa (ex: "Escreva uma função Python completa"). Calculado via similaridade de cosseno de embeddings vetoriais densos (usando all-mpnet-base-v2).
2. Sinal Léxico ($lex$): Sobreposição superficial de palavras-chave (similaridade de Jaccard) entre a âncora de objetivo e o fragmento, capturando palavras-chave específicas de domínio que os embeddings podem perder.
3. Sinal Posicional ($pos$): Um impulso em forma de U invertido projetado para contrabalançar a tendência natural do transformer de negligenciar o meio do contexto. Atribui a pontuação mais alta ao turno do meio e diminui simetricamente em direção ao início e ao fim.

2.3 Anotação RTG e Construção de Prompt

• Pontuação Cumulativa: O RTG para um turno é a soma de sufixo das pontuações de relevância daquele turno até o final da conversa.
• Garantia do Último Fragmento: Uma garantia mínima é aplicada ao último fragmento para assegurar que a última restrição não seja descartada, mesmo que sua relevância bruta seja baixa.
• Rótulos de Confiança: Fragmentos com relevância acima da média são marcados como CONFIRMADO; outros são marcados como INSEGURO. Esses rótulos são anexados ao histórico apresentado ao modelo.

2.4 Auto-correção Guiada por RTG

O SeDT inclui um mecanismo de verificação de duas barreiras:

1. Gatilho: Se a conversa for considerada "fraca" (com base na relevância normalizada do último fragmento e na fração de turnos inseguros), um passo de verificação é acionado.
2. Barreira de Aceitação: Um modelo verificador gera uma nova resposta. Esta resposta substitui a original apenas se cobrir mais fragmentos "CONFIRMADOS" (palavras de conteúdo) do que a resposta original. Isso previne a sobrescrita estocástica de respostas corretas.

3. Contribuições Principais

1. Identificação do Problema: Identificar a pesagem plana de turnos de contexto como a causa raiz estrutural do colapso de confiabilidade em conversas multi-turno, estabelecendo um paralelo formal com o condicionamento RTG do Transformador de Decisão.
2. Método SeDT: Um método sem treinamento e no momento da inferência que requer zero modificação de modelo e zero dados de treinamento.
3. Relevância de Três Sinais: Uma formulação que combina sinais semânticos, léxicos e posicionais para contrabalançar diretamente modos de falha documentados (comprometimento prematuro, perda de turnos do meio, etc.).
4. Auto-correção Fundamentada em RTG: Um caminho de verificação conservador que introduz zero "casos prejudiciais" (erros introduzidos pelo mecanismo de correção).

4. Resultados Experimentais

O método foi avaliado no benchmark Lost-in-Conversation (Laban et al., 2025) em três LLMs (GPT-4o-mini, Gemini 2.5 Flash, Llama 3.3-70B) e três tarefas (Ações, Matemática/GSM8K, Código).

• Ganhos de Desempenho: O SeDT superou a linha de base fragmentada em todas as nove combinações de modelo-tarefa.
  • Desempenho Médio ($\bar{P}$): Os ganhos variaram de +5,6% a +37,7%. O Gemini 2.5 Flash apresentou o maior ganho único (+37,7 em Ações), recuperando-se significativamente em direção ao seu teto de desempenho de turno único.
  • Confiabilidade: A insegurança ($U$) foi reduzida em sete das nove combinações. O método estreitou com sucesso as distribuições de pontuação, particularmente nas tarefas de Matemática e Ações.
• Aptidão: A capacidade no melhor caso (Aptidão $A_{90}$) melhorou em todos os casos, confirmando que os ganhos refletem recuperação genuína de capacidade e não redução de ruído.
• Estudos de Ablação:
  • Nenhum sinal único (semântico, léxico ou posicional isoladamente) foi suficiente; a combinação foi necessária.
  • A ponderação específica ($\alpha=0,6$) foi validada como significativa, superando a ponderação uniforme.
  • "RTG Aleatório" (usando números aleatórios em vez de relevância calculada) performou melhor que a linha de base, mas significativamente pior que o SeDT, provando que o sinal de relevância calculado, e não apenas o formato de prefixo numérico, impulsiona o desempenho.
• Auto-correção: O mecanismo foi acionado em ~28% das execuções, mas resultou em zero casos prejudiciais, substituindo respostas apenas quando a nova resposta demonstravelmente cobria mais restrições confirmadas.

5. Significado e Alegações

O artigo alega que o problema "Perdido na Conversa" é pelo menos parcialmente um problema de pesagem de contexto, que pode ser abordado no momento da inferência sem retreinamento.

• Insight Estrutural: O trabalho desvia a culpa da "insegurança" do modelo ou do "desalinhamento de intenção" para a representação estrutural do histórico de conversas.
• Praticidade: Ao não exigir ajuste fino e, no máximo, uma chamada adicional de LLM (para verificação), o SeDT oferece uma solução escalável para interações multi-turno do mundo real onde os usuários revelam restrições incrementalmente por necessidade.
• Mecanismo: O sucesso do condicionamento RTG sugere que LLMs ajustados por instrução aprenderam a responder a sinais explícitos de importância (como prefixos numéricos encontrados em comentários de código ou esboços) durante o pré-treinamento, permitindo-lhes aproveitar essa "demonstração implícita em contexto" para re-pesquisar sua atenção em direção a restrições críticas.

Os autores concluem que "dizer ao modelo quais turnos passados importam é suficiente para recuperar substancialmente o desempenho perdido na conversa".