Resumo Técnico: Autocorreção de LLM com DECRIM

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades impressionantes de seguimento de instruções, estudos recentes indicam que eles enfrentam dificuldades significativas com instruções que contêm múltiplas restrições simultâneas (ex: tom específico, comprimento e restrições negativas como "sem hashtags"). Os benchmarks existentes para avaliar essa capacidade dependem amplamente de dados sintéticos, que podem falhar em capturar a complexidade, a nuance e a dificuldade artificial das solicitações de usuários do mundo real. Além disso, as abordagens atuais de autocorreção frequentemente assumem a independência das restrições ou focam em tipos específicos de restrições, limitando sua aplicabilidade em cenários de múltiplas restrições abertos. Há também uma lacuna em métodos de avaliação confiáveis e de baixo custo para essas instruções complexas, uma vez que a avaliação baseada em regras é frequentemente inviável para tarefas abertas.

Metodologia

1. Benchmark REALINSTRUCT

Para abordar a dependência de dados sintéticos, os autores introduzem o REALINSTRUCT, o primeiro benchmark projetado para avaliar LLMs em instruções de múltiplas restrições do mundo real.

• Fonte de Dados: Derivado de consultas reais de usuários a assistentes de IA (extraídas do ShareGPT), filtradas para reter apenas instruções em inglês que contenham restrições.
• Estrutura: Cada instrução é decomposta em uma Tarefa (objetivo principal), Contexto e uma lista de Restrições granulares.
• Escala: O conjunto de teste contém 302 instruções com 1.055 restrições; o conjunto de validação contém 842 instruções com 2.500 restrições.
• Protocolo de Avaliação: Devido à natureza aberta dos dados, o benchmark utiliza uma abordagem de LLM-como-Juiz (LLM-as-a-Judge). As restrições são avaliadas individualmente, e os resultados são agregados em uma métrica de precisão ao nível da instrução.

2. Validação de LLM-como-Juiz

Os autores investigam a confiabilidade do uso de LLMs para avaliar a satisfação de restrições, comparando modelos proprietários (GPT-4, GPT-4-Turbo, GPT-3.5-Turbo) e modelos de código aberto (Mistral, Vicuna, Zephyr) contra anotações humanas.

• Dataset EvalJudge: Um conjunto de teste de 1.000 trios instrução-restrição-resposta com rótulos de verdade fundamental (ground truth) verificados por humanos.
• Estratégias: Diversas estratégias de adaptação foram testadas, incluindo Aprendizado em Contexto (ICL) com prompting de Cadeia de Pensamento (CoT) e ajuste fino fracamente supervisionado para modelos de código aberto.
• Descoberta: O GPT-4-Turbo com prompting de CoT emergiu como o avaliador mais econômico e confiável, superando significativamente os modelos de código aberto na detecção de restrições não atendidas.

3. Pipeline DECRIM (Decompor, Criticar e Refinar)

Para preencher a lacuna de desempenho entre modelos de código aberto e proprietários, os autores propõem o pipeline DECRIM, uma abordagem de autocorreção baseada em métodos de Sistema 2. Ele opera sem suposições sobre a independência das restrições e consiste em quatro etapas iterativas:

1. Resposta Inicial: O LLM gera uma resposta para a instrução original.
2. Decomposição (Decompose): Um modelo Decompositor quebra a instrução original em uma lista de restrições granulares a serem seguidas.
3. Crítica (Critique): Um modelo Crítico avalia a resposta em relação a cada restrição. Se todas forem satisfeitas, o processo termina. Caso contrário, o Crítico fornece feedback em linguagem natural especificando quais restrições foram violadas.
4. Refinamento (Refine): O LLM subjacente utiliza o feedback, a instrução original e a resposta anterior para gerar um output melhorado.

Este ciclo se repete até que as restrições sejam atendidas ou que um número máximo de iterações ($N_{max}$) seja alcançado.

Principais Contribuições

1. REALINSTRUCT: Um novo benchmark composto por solicitações reais de usuários a assistentes de IA, oferecendo uma avaliação mais realista do seguimento de instruções de múltiplas restrições em comparação com datasets sintéticos.
2. Pipeline DECRIM: Um framework de autocorreção que decompõe instruções, critica respostas via um modelo Crítico dedicado e refina os outputs. É a primeira abordagem de Sistema 2 para instruções com restrições que opera sem assumir a independência das restrições.
3. Análise Sistemática de LLM-como-Juiz: A primeira avaliação sistemática de modelos de código aberto e proprietários como juízes de satisfação de restrições, identificando o GPT-4-Turbo com CoT como uma alternativa confiável e de baixo custo à anotação humana.

Resultados

Desempenho do Benchmark (REALINSTRUCT & IFEval)

• Limitações da Linha de Base: Mesmo o modelo proprietário GPT-4 falha em atender pelo menos uma restrição em mais de 21% das instruções no REALINSTRUCT. Modelos de código aberto (ex: Mistral 7B) geralmente apresentam desempenho inferior ao GPT-4, embora superem o GPT-3.5.
• Eficácia do DECRIM:
  • Feedback Fraco: Usando um Mistral fracamente supervisionado como Crítico (sem dados externos), o DECRIM melhorou o desempenho de instrução do Mistral em 7,3% no REALINSTRUCT e 8,0% no IFEval em comparação com uma linha de base "Certifique-se de que" (Make sure).
  • Feedback Forte: Quando fornecidos com feedback forte (Crítico Oráculo ou GPT-4), LLMs de código aberto com DECRIM superaram o GPT-4 em ambos os benchmarks. Especificamente, com um Crítico Oráculo, o Mistral alcançou 93,7% de precisão de instrução no REALINSTRUCT (vs. 78,8% do GPT-4) e 80,4% no IFEval (vs. 79,3% do GPT-4).
• Limites da Autocorreção: O refinamento padrão (usar o próprio modelo como seu crítico) gerou ganhos mínimos ou quedas de desempenho, destacando a necessidade de um modelo Crítico externo ou distinto.

Confiabilidade da Avaliação

• GPT-4-Turbo: Com prompting de CoT, reduziu os custos de avaliação em 57% em comparação com o GPT-4, enquanto melhorou o Macro F1 em 7,0% e o F1 Negativo (detecção de violações) em 19,0%.
• Juízes de Código Aberto: Modelos de código aberto vanilla foram juízes não confiáveis, frequentemente exibindo comportamento leniente ou aleatório. No entanto, o ajuste fino fracamente supervisionado em trilhas de raciocínio do GPT-4 melhorou significativamente sua capacidade de detectar restrições não atendidas.

Significância e Alegações

O artigo afirma que seguir instruções de múltiplas restrições do mundo real continua sendo um desafio significativo para modelos de última geração, com até mesmo o GPT-4 falhando frequentemente. Os autores postulam que o pipeline DECRIM aborda isso efetivamente ao desacoplar a geração da resposta do processo de avaliação e refinamento.

O trabalho demonstra que:

1. Dados do mundo real são distintos: Benchmarks sintéticos não capturam totalmente os desafios das restrições reais dos usuários, necessitando de benchmarks como o REALINSTRUCT.
2. A qualidade do feedback é primordial: O sucesso da autocorreção depende fortemente da qualidade do feedback do Crítico. Embora os modelos de código aberto tenham dificuldade em se autocorrigir, eles podem alcançar desempenho superior aos modelos proprietários quando equipados com feedback externo de alta qualidade.
3. Viabilidade do Sistema 2: A abordagem DECRIM valida a utilidade de técnicas de Sistema 2 (decomposição e refinamento iterativo) para o seguimento de instruções complexas, sugerindo que modelos de código aberto podem ser competitivos com seus equivalentes proprietários se equipados com pipelines de correção robustos.

Os autores concluem que, embora o DECRIM introduza overhead computacional, ele oferece um caminho viável para aumentar as capacidades de seguimento de instruções, particularmente quando mecanismos de feedback fortes estão disponíveis. Sugere-se que trabalhos futuros refinem os componentes do pipeline e integrem o DECRIM com outras abordagens de Sistema 2, como a autoconsistência.