Mapping the Course for Prompt-based Structured Prediction

Título: Mapeando o Curso para Predição Estruturada Baseada em Prompt

Autores: Matt Pauk e Maria Leonor Pacheco (Universidade do Colorado Boulder)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram desempenho robusto em diversas tarefas de Processamento de Linguagem Natural (NLP) sem necessidade de fine-tuning específico, graças ao seu conhecimento pré-treinado. No entanto, eles enfrentam desafios significativos em predição estruturada (tarefas onde se deve prever múltiplos componentes inter-relacionados que formam um objeto estruturado, como resolução de coreferência ou enquadramento moral).

As principais limitações identificadas são:

• Inconsistências Estruturais: Como os LLMs geram tokens de forma autoregressiva, eles frequentemente violam restrições lógicas ou estruturais globais (ex: violar a transitividade na resolução de coreferência ou atribuir papéis morais inconsistentes com a fundação moral geral).
• Dificuldade em Inferência Combinatória: Estratégias puramente baseadas em prompting (como gerar a estrutura inteira de uma vez ou tratar componentes como tarefas independentes) não possuem mecanismos para garantir a validade estrutural da saída.
• Estimativa de Confiança: Métodos tradicionais de inferência estruturada dependem de pontuações de confiança bem calibradas para candidatos locais. Em LLMs, extrair essas pontuações de probabilidade de forma confiável é desafiador, pois os modelos não aprendem uma distribuição condicional $P(Y|X)$ específica para a tarefa, mas sim a probabilidade de gerar tokens.

2. Metodologia

Os autores propõem um framework híbrido que combina o poder preditivo dos LLMs com inferência simbólica combinatória (especificamente Programação Linear Inteira - ILP) para impor consistência estrutural.

Framework Geral

O problema é modelado como um grafo de fatores baseado em LLM. O objetivo é encontrar a estrutura global ótima $y$ que maximize a soma das pontuações dos subcomponentes, sujeito a restrições estruturais:
$$\text{arg max}_{y \in Y} \sum_{\psi_i \in \Psi} \rho(x_i, y_i; \theta) \quad \text{s.t. } c(x_c, y_c)$$
Onde $\rho$ é o LLM e as restrições $c$ são definidas pelo grafo.

Estratégias de Pontuação (Confidence Estimation)

O estudo realiza uma análise exaustiva de métodos para extrair pontuações de confiança a partir de prompts, divididos em:

• Métodos White-Box (acesso às probabilidades de tokens):
  • True/False: Reformular a tarefa como uma pergunta de verdadeiro/falso e usar a probabilidade do token "True".
  • Múltipla Escolha: Tratar como QA com opções e usar a probabilidade do token correspondente à opção correta.
  • Classificação Generativa: Inverter o prompt (dar o rótulo como entrada e pedir para gerar o texto), calculando a média das probabilidades de geração.
• Métodos Black-Box (apenas texto gerado):
  • Amostragem de Geração: Gerar $n$ respostas e usar a frequência de um rótulo específico como proxy de confiança.
  • Confiança Verbalizada: Pedir ao modelo que estime numericamente sua própria confiança (0-100).

Mecanismos de Aprendizado e Calibração

Além do prompting zero-shot/few-shot, o paper explora estratégias de aprendizado para alinhar o LLM com objetivos estruturados:

1. Calibração de Pontuação (Few-Shot): Treinar uma camada de regressão logística sobre as pontuações brutas do LLM. Pode ser feita de forma Local (por sub-tarefa) ou Global (usando Structured Hinge Loss que considera a estrutura completa).
2. Fine-tuning Local: Ajustar o LLM para prever componentes locais individualmente.
3. Fine-tuning Global: Ajustar o LLM diretamente usando a Structured Hinge Loss (backpropagando o erro da inferência global), iniciando com pesos de fine-tuning local.

3. Contribuições Principais

1. Validação da Inferência Combinatória: Demonstram que, independentemente da estratégia de prompting ou estimativa de confiança utilizada, a incorporação de inferência simbólica (ILP) sempre resulta em previsões mais consistentes e precisas do que o prompting isolado.
2. Otimização de Estratégias de Prompt: Identificam que formular prompts como perguntas Verdadeiro/Falso (True/False) é a estratégia mais eficaz para estimar confiança para inferência combinatória, superando métodos de múltipla escolha e geração de texto.
3. Superioridade do Fine-tuning Global: Mostram que o fine-tuning utilizando objetivos de predição estruturada global supera significativamente o fine-tuning apenas em decisões locais e métodos few-shot.
4. Análise de Escala e Custo: Avaliam o impacto do tamanho do modelo (8B vs 70B) e o custo computacional, mostrando que a inferência simbólica adiciona um custo marginal (menos de 1 segundo em média) em relação ao tempo de prompting.

4. Resultados Experimentais

Os métodos foram avaliados em duas tarefas complexas de nível de discurso:

• Enquadramento Moral (Morality Framing): Identificação de fundações morais e papéis de entidades em tweets políticos.
• Resolução de Coreferência: Identificação de menções que referem-se à mesma entidade (datasets GENIA e OntoNotes).

Principais Achados:

• Melhoria Consistente: A aplicação de restrições (constrains) reduziu as violações estruturais para zero em todos os casos e aumentou o F1 Macro em ambas as tarefas.
• Melhor Estratégia de Prompt: O método True/False obteve os melhores resultados antes e depois da inferência.
• Desempenho de Fine-tuning:
  • No enquadramento moral, o modelo com Global Fine-tuning alcançou um Micro F1 de 0.764, superando o estado da arte anterior (0.723) que usava abordagens de aprendizado estruturado profundo clássico.
  • Na resolução de coreferência, o Global Fine-tuning alcançou 0.890 no dataset GENIA, superando métodos anteriores.
• Efeito do Tamanho do Modelo: Curiosamente, modelos maiores (Llama-70B) não superaram consistentemente modelos menores (Llama-8B) em tarefas de perguntas Verdadeiro/Falso específicas, sugerindo que parâmetros adicionais podem estar focados em seguir instruções complexas em vez de otimizar tarefas de classificação direta.
• Custo Computacional: Métodos como "Confiança Verbalizada" e "Classificação Generativa" são extremamente caros computacionalmente (requerem múltiplos prompts por instância), enquanto "Múltipla Escolha" e "Verdadeiro/Falso" são eficientes.

5. Significado e Conclusão

O trabalho conclui que a era dos LLMs não torna obsoletas as técnicas clássicas de aprendizado estruturado. Pelo contrário, a combinação de LLMs com inferência simbólica é crucial para tarefas que exigem consistência lógica e estrutural.

• Para a Comunidade: O estudo fornece um guia prático sobre como extrair confiança de LLMs para alimentar algoritmos de inferência, recomendando fortemente o uso de prompts do tipo Verdadeiro/Falso.
• Para o Aprendizado: Demonstra que objetivos de aprendizado estruturado global são superiores para fine-tuning de LLMs em tarefas complexas, alinhando melhor o modelo com as restrições do mundo real.
• Futuro: Os autores sugerem a aplicação dessas lições em fluxos de trabalho multi-agente, onde interdependências existem, mas a supervisão é escassa.

Em suma, o papel "mapeia o curso" mostrando que a precisão em predição estruturada com LLMs não vem apenas de modelos maiores ou prompts melhores, mas da integração sistemática de restrições lógicas via inferência combinatória.