Retrieval-Assisted Instantiation of Natural-Language Optimization Problems

Resumo Técnico: Instanciação de Problemas de Otimização em Linguagem Natural Assistida por Recuperação

Formulação do Problema
O artigo aborda o desafio de traduzir descrições em linguagem natural de problemas de engenharia e pesquisa operacional em modelos de otimização formais. Em vez de tentar a geração completa de ponta a ponta de código pronto para solvers ou programas matemáticos completos — uma tarefa que permanece difícil de automatizar de forma confiável — o estudo foca em uma tarefa intermediária mais estreita: a instanciação de problemas de otimização assistida por recuperação.

O problema central é definido como um processo de dois estágios:

1. Recuperação de Esquema (Schema Retrieval): Dada uma consulta em linguagem natural, o sistema deve identificar o template de otimização (esquema) mais compatível de um catálogo fixo de 335 documentos de esquema candidatos.
2. Instanciação de Parâmetros Escalares: Condicionado ao esquema recuperado, o sistema deve extrair evidências numéricas do texto e atribuir deterministicamente esses valores aos slots de parâmetros escalares definidos pelo esquema.

O escopo é deliberadamente restrito a parâmetros numéricos escalares (inteiros, decimais, porcentagens, moeda) dentro de um catálogo de esquemas fixo. O pipeline é totalmente determinístico, não utilizando modelos de linguagem de grande escala (LLMs), recuperadores aprendidos ou extratores aprendidos. O framework de avaliação é desenhado de tal forma que a elegibilidade dos parâmetros subsequentes depende do esquema previsto, e não do esquema real (gold), garantindo que erros de recuperação se propaguem estruturalmente para as métricas de desempenho subsequentes.

Metodologia
O framework proposto opera como um pipeline transparente e determinístico:

• Identificação de Esquema (Recuperação): O sistema classifica um catálogo fixo de documentos de esquema contra a consulta de entrada. Três baselines de recuperação lexical determinística são avaliados:

  • BM25: Pesagem lexical probabilística.
  • TF–IDF: Similaridade de cosseno de sacola de palavras ponderada (identificada como a espinha dorsal principal).
  • Análise Semântica Latente (LSA): Projeção latente de características TF–IDF.
    O sistema seleciona o esquema com melhor classificação ($\hat{s}$) para servir como âncora estrutural para a próxima etapa.

• Instanciação Determinística de Parâmetros:

  1. Extração: Menções numéricas são extraídas da consulta usando correspondência de padrões baseada em regras (reconhecendo inteiros, decimais, porcentagens, moeda, etc.).
  2. Tipagem: As menções são atribuídas a tipos grosseiros (porcentagem, inteiro, moeda, decimal) com base em pistas superficiais.
  3. Elegibilidade de Slot: O esquema previsto $\hat{s}$ determina o conjunto de slots de parâmetros escalares elegíveis.
  4. Atribuição: Uma regra de atribência sem reuso mapeia as menções extraídas para os slots. O método principal é a correspondência gananciosa tipada (typed greedy matching), que prioriza a concordância de tipo entre o slot e a menção.
  5. Refinamento: O framework inclui uma camada de compatibilidade de papel de otimização baseada em léxico. Esta camada refina o sinal básico de correspondência de tipo, pontuando pares slot–menção com base em pistas de contexto de domínio (ex: "capacidade", "custo", "cardinalidade") encontradas no nome do slot e no contexto local.

• Métricas de Avaliação:

  • Schema R@1: A fração de consultas onde o esquema de melhor classificação coincide com o esquema real (gold).
  • Cobertura (Coverage): A fração de slots escalares reais elegíveis que recebem uma atribuição.
  • TypeMatch: A fração de slots atribuídos onde o tipo numérico previsto coincide com o tipo esperado.
  • InstantiationReady: Uma métrica de limiar diagnóstico (exigindo tanto Cobertura $\ge$ 0,8 quanto TypeMatch $\ge$ 0,8) que mede a usabilidade ao nível da consulta.
  • Exact20 on Hits: Uma métrica de precisão de valor condicional (dentro de 20% de erro relativo) computada apenas em casos de acerto de esquema com valores numéricos comparáveis.

Principais Contribuições

1. Decomposição do Problema: O artigo propõe um framework que separa explicitamente a recuperação de esquema da fundamentação (grounding) de parâmetros escalares, utilizando um design de avaliação dependente de recuperação onde os slots elegíveis são derivados do esquema previsto.
2. Metodologia Transparente: Introduz um pipeline totalmente determinístico que mapeia texto numérico para parâmetros de esquema tipados sem o uso de LLMs, tornando cada decisão intermediária (seleção de esquema, elegibilidade de slot, extração numérica, atribuição) inspecionável e reproduzível.
3. Diagnóstico Empírico: Através de extensos estudos de ablação, controles de oráculo e comparações com famílias de fundamentação determinística mais ricas (compatibilidade global, consciência de relação, consciência de ambiguidade), o artigo identifica o gargalo primário no pipeline.
4. Validação Downstream: Fornece validação estrutural restrita e apoiada por solver (usando o shim SciPy HiGHS) em subconjuntos específicos para avaliar a utilidade prática dos elementos recuperados, distinguindo entre reprodutibilidade em escala de benchmark e sucesso executável restrito.

Resultados

• Recuperação de Esquema: O desempenho de recuperação é forte dentro do cenário de catálogo fixo. O TF–IDF atinge a melhor acurácia média de topo-1 (Schema R@1 = 0,9094 nas consultas originais), superando significativamente o acaso aleatório (~0,003) e demonstrando robustez à degradação lexical (consultas ruidosas e curtas).
• Instanciação Downstream: O método não-oráculo mais forte (TF–IDF typed greedy) atinge um score de InstantiationReady de 0,5287.
• Análise de Oráculo: Um controle de oráculo (usando o esquema real) melhora o InstantiationReady apenas para 0,5680. Este ganho modesto (aproximadamente 4 pontos percentuais) indica que, mesmo com recuperação perfeita de esquema, o sistema tem dificuldade com a fundamentação número-para-slot (atribuir o número extraído correto ao papel semântico correto).
• Estudos de Ablação:
  • Compatibilidade de Tipo Numérico: Corrigir como os slots de valor decimal são combinados com menções numéricas gera melhorias massivas em TypeMatch e InstantiationReady, confirmando que erros de tratamento de tipo foram uma grande fonte de falha.
  • Famílias de Fundamentação Mais Ricas: Três famílias adicionais de fundamentação determinística (Compatibilidade Global, Consciência de Relação, Consciência de Ambiguidade) falharam em superar o baseline simples de correspondência gananciosa tipada, sugerindo que o gargalo não é a falta de complexidade de busca, mas uma ambiguidade semântica fundamental no mapeamento de quantidade-para-papel.
• Validação por Solver: Em um subconjunto restrito de 20 instâncias compatível com o shim SciPy HiGHS, o pipeline TF–IDF alcançou taxas de 0,80 de sucesso de solver e de viabilidade, superando ligeiramente o Oráculo (0,75), reforçando que a fundamentação downstream, e não a seleção de esquema, é o fator limitante.

Significância e Alegações
O artigo posiciona modestamente sua contribuição não como um compilador completo de linguagem natural para otimização ou um substituto para modeladores humanos, mas como uma camada intermediária transparente para suporte à decisão inteligente.

• Principal Descoberta: No contexto do benchmark NLP4LP, a recuperação de esquema não é o gargalo dominante; ela já é forte. O desafio principal restante é a fundamentção semântica de quantidade-para-papel — determinar qual número extraído corresponde a qual papel de parâmetro (ex: distinguir um custo total de um custo unitário, ou um limite inferior de um limite superior) uma vez que o esquema é conhecido.
• Valor Prático: O sistema demonstra que um pipeline determinístico assistido por recuperação pode recuperar uma fração substancial de estrutura escalar utilizável (aprox. 53% das consultas atendem ao limiar de prontidão) sem LLMs opacos. Isso fornece um passo mensurável e inspecionável em direção à formalização de problemas de otimização, permitindo que especialistas humanos verifiquem, corrijam ou estendam os parâmetros recuperados.
• Limitações: Os autores reconhecem que os resultados são específicos para o benchmark NLP4LP e um catálogo de esquemas fixo. O sistema não lida com parâmetros estruturados (vetores, listas) e depende de inferência de tipo heurística e baseada em regras. O estudo não reivindica prontidão geral de solver para todos os problemas de otimização, mas oferece evidências de utilidade em casos compatíveis.

Em resumo, o artigo argumenta que, embora a automação total permaneça difícil, uma abordagem transparente e determinística para a recuperação de esquemas e fundamentação escalar oferece um componente viável, interpretável e praticamente útil para sistemas de suporte à decisão de engenharia.