Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation

Título: Rastros Interpretáveis, Resultados Inesperados: Investigando a Desconexão na Distilação de Conhecimento Baseada em Rastros

1. Problema e Motivação

Os avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) focados em raciocínio, como o DeepSeek R1, dependem da geração de Rastros de Pensamento (Chain-of-Thought - CoT). Esses rastros são sequências de tokens intermediários gerados antes da resposta final, utilizados tanto para guiar a inferência quanto como sinais de supervisão para a Distilação de Conhecimento (KD) em modelos menores.

Existe uma hipótese implícita e amplamente aceita na comunidade: assume-se que esses rastros de CoT, quando emitidos durante a inferência, são simultaneamente:

1. Semanticamente corretos (refletem o raciocínio lógico real que levou à resposta).
2. Interpretáveis para o usuário final (servem como explicações confiáveis).

O artigo questiona essa premissa, investigando se a correção semântica e a interpretabilidade humana dos rastros são realmente necessárias ou benéficas para o desempenho do modelo na tarefa final. Os autores sugerem que pode haver uma desconexão fundamental entre otimizar o modelo para gerar respostas corretas e otimizar o modelo para gerar rastros que humanos entendam ou que sejam logicamente válidos.

2. Metodologia

Os autores propõem um framework experimental rigoroso para isolar e testar a relação entre a correção do rastro, a precisão da resposta final e a interpretabilidade humana.

• Decomposição de Problemas Baseada em Regras:

  • Para criar um "ground truth" verificável, os autores desenvolveram um método para decompor tarefas de Perguntas e Respostas (QA) de Livro Aberto em sub-problemas estruturados (Classificação do tipo de relação temporal e Recuperação de Informação - IR).
  • Isso permite a criação de conjuntos de dados de Ajuste Fino Supervisionado (SFT) onde os rastros intermediários são verificadamente corretos ou verificadamente incorretos, mantendo sempre a resposta final correta.

• Configurações de Experimento:

  1. Correlação Correção vs. Desempenho:
     • Treinamento de modelos menores (SLMs) com rastros corretos (verificáveis).
     • Treinamento de modelos menores com rastros incorretos (fatos errados ou classificações erradas, mas resposta final correta).
     • Avaliação da precisão da resposta final e da precisão de cada passo do rastro.
  2. Correlação Interpretabilidade vs. Desempenho:
     • Comparação de quatro tipos de rastros para SFT:
       1. Rastros brutos do DeepSeek R1 (verbosos).
       2. Resumos gerados por LLM (GPT-4o-mini) dos rastros R1.
       3. Explicações post-hoc geradas por LLM dos rastros R1.
       4. Rastros verificadamente corretos (gerados via decomposição baseada em regras).
  3. Estudo com Participantes Humanos:
     • Realizado com 100 participantes (via Prolific).
     • Avaliação baseada em escalas Likert (5 pontos) para interpretabilidade (previsibilidade, compreensibilidade, fidelidade) e carga cognitiva (demanda mental, esforço, frustração) usando o NASA-TLX.

• Datasets e Modelos:

  • Datasets: CoTemp QA (raciocínio temporal), Microsoft MARCO QA, e Facebook bAbI QA.
  • Modelos: Llama-3.2-1B, Qwen3-1.7B, Llama-3.1-8B e Qwen3-8B.

3. Contribuições Principais

1. Desconstrução da Hipótese de Fidelidade: Demonstração empírica de que rastros semanticamente corretos não são um pré-requisito para a alta precisão na resposta final.
2. Método de Avaliação Controlada: Introdução de uma técnica de decomposição baseada em regras que permite a criação de dados de treinamento com rastros "falsos" mas respostas "verdadeiras", isolando o efeito da semântica do rastro.
3. Análise de Trade-off Humano-Máquina: Evidência de que o que é ótimo para o modelo (verbosidade, padrões estruturais) pode ser o pior para o usuário (alta carga cognitiva, baixa interpretabilidade).

4. Resultados Chave

• Falta de Correlação entre Correção do Rastro e Precisão da Resposta:

  • Modelos treinados com rastros incorretos muitas vezes superaram ou igualaram os modelos treinados com rastros corretos na precisão final da resposta.
  • Em muitos casos, os modelos aprenderam a estrutura do rastro (o padrão de como escrever o pensamento) sem aprender a semântica (os fatos reais).
  • Apenas 28% dos problemas no conjunto de teste resultaram em rastros corretos e respostas corretas quando o modelo foi treinado com rastros corretos.
  • Testes estatísticos ($\chi^2$) confirmaram que a precisão do rastro e a precisão da resposta são independentes.

• Desconexão entre Desempenho do Modelo e Interpretabilidade Humana:

  • Melhor Desempenho do Modelo: O ajuste fino com rastros verbosos do DeepSeek R1 produziu os melhores resultados em precisão final.
  • Pior Interpretabilidade Humana: Os mesmos rastros R1 foram classificados como os menos interpretáveis pelos usuários humanos (média de 3.39 em interpretabilidade e 4.59 em carga cognitiva em uma escala de 5).
  • Melhor Interpretabilidade Humana: Os rastros verificadamente corretos (gerados por regras) foram os mais bem avaliados pelos humanos (alta compreensibilidade, baixa carga cognitiva), mas não levaram ao desempenho de solução comparável ao dos rastros R1 verbosos.

• Análise de Erros:

  • Observou-se uma alta taxa de "Falsos Positivos": modelos gerando respostas corretas com rastros logicamente falhos.
  • O modelo parece estar "imitando" o formato do raciocínio para obter a resposta, em vez de realmente raciocinar através dos passos intermediários.

5. Significado e Conclusão

O trabalho desafia a prática atual de supervisionar modelos de IA com rastros de pensamento assumindo que eles são explicações fiáveis para humanos.

• Conclusão Principal: A otimização para o desempenho da tarefa (precisão da resposta) e a otimização para a explicação ao usuário (interpretabilidade e correção semântica) são objetivos desacoplados.
• Implicações:
  • Rastros verbosos e complexos podem ser "alavancas" para o raciocínio do modelo, mas funcionam como "pesos" (albatross) para a compreensão humana.
  • Gerar explicações amigáveis ao usuário não pode ser feito simplesmente usando os mesmos rastros que otimizam a precisão do modelo.
  • É necessário desenvolver objetivos ou módulos separados para a geração de explicações para o usuário final, distintos dos sinais de supervisão usados para treinar a capacidade de raciocínio do modelo.

Em suma, o artigo alerta para o risco de "antropomorfizar" tokens intermediários como "pensamento" real, sugerindo que, para muitos modelos, esses tokens são apenas padrões estatísticos eficazes para prever a próxima palavra, sem necessariamente representar um raciocínio lógico verificável ou compreensível para humanos.