Resumo Técnico: MIRA-Math

Declaração do Problema

Os benchmarks atuais de raciocínio matemático (ex: GSM8K, MATH) tipicamente fornecem todos os fatos necessários para resolver um problema, avaliando apenas a capacidade do modelo de computar uma resposta final a partir de um estado completo. Por outro lado, benchmarks interativos amplos frequentemente confundem o raciocínio matemático com o uso de ferramentas, recuperação de informação, navegação na web e gestão de diálogo de longo horizonte. Isso cria uma lacuna diagnóstica: torna-se difícil isolar se um modelo falha por não conseguir identificar informações ausentes, por não conseguir solicitar essa informação com precisão ou por não conseguir integrar a informação adquirida em uma solução correta.

O MIRA-Math aborda isso introduzindo um benchmark para solicitação de informação mínima. O problema central é definido como a resolução de problemas matemáticos onde o estado latente completo possui uma resposta única, mas a visão do resolvedor é deliberadamente incompleta, faltando exatamente um fato atômico necessário. O resolvedor deve reconhecer o fato ausente, solicitá-lo em linguagem natural sob um orçamento estrito e integrar o fato retornado para produzir uma resposta exata final.

Metodologia

Formalização da Tarefa

Cada instância é gerada a partir de um estado completo latente $z$ que determina uma resposta alvo única $y = f(z)$. O resolvedor recebe uma visão privada $v_A = \phi_A(z)$ que omite um fato atômico necessário. O benchmark impõe duas condições:

1. Bem-postura Global: O estado completo (visão + fato ausente) produz exatamente uma resposta consistente.
2. Subdeterminação Local: A visão privada do resolvedor sozinha produz múltiplas respostas consistentes.

Protocolo de Interação

A avaliação envolve dois agentes:

• Resolvedor (Agente A): Recebe a visão privada e um orçamento de solicitação $B$. Ele emite solicitações de linguagem natural de forma livre ou fornece uma resposta final.
• Detentor da Informação (Agente B): Um LLM fixo e restrito (implementado como gpt-4o-mini nos experimentos) que detém apenas o fato atômico ausente. Ele opera sob um protocolo de saída estruturada:
  • Oferta: Se a solicitação corresponder semanticamente ao fato mantido, ele retorna o fato com has_exact_match=true.
  • Recusa: Se a solicitação não corresponder, ele retorna uma mensagem de recusa fixa.
  • O detentor não resolve, não explica, não negocia nem oferece dicas extras.

Construção do Conjunto de Dados

O MIRA-Math contém 2.310 instâncias derivadas de 22 famílias matemáticas tipificadas (abrangendo álgebra, probabilidade, sistemas lineares, processamento de sinais, cadeias de Markov, etc.). O conjunto de dados é dividido em dois tipos:

• Tipo A (Slot de Dica Fixa): A informação ausente é estruturalmente determinada (ex: uma instância de regra de Bayes sempre omite a probabilidade a priori).
• Tipo B (Slot de Dica Variável): A posição da informação ausente varia por instância (ex: um coeficiente ausente em um sistema linear ou um resistor ausente em um circuito), exigindo que o resolvedor localize o slot ausente antes de solicitar.

O lançamento inclui código de geração, verificadores exatos, especificações canônicas de dicas e logs de interação brutos para garantir a reprodutibilidade.

Métricas

O benchmark separa a aquisição de informação da integração matemática usando as seguintes métricas:

• Taxa de Acerto de Solicitação (Request Hit Rate): Razão entre solicitações aceitas e o total de mensagens.
• Sucesso na Primeira Solicitação: Fração de instâncias onde a primeira solicitação é aceita.
• Decomposição em Nível de Traço: As instâncias são classificadas em três categorias disjuntas:
  1. Nenhuma Dica Canônica Adquirida: O resolvedor falhou em solicitar o fato correto.
  2. Dica Adquirida, Integração Falhou: O resolvedor obteve o fato, mas computou a resposta errada.
  3. Sucesso: O resolvedor adquiriu o fato e computou a resposta correta.

Principais Resultados

Experimentos em modelos de fronteira e modelos pequenos (incluindo gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 e Llama-3.1-8B) revelam que solicitar e resolver são habilidades separáveis:

1. Divergência de Habilidades: Um alto desempenho de solicitação não garante alta precisão na resposta final. Por exemplo, o gemini-2.5-flash alcançou a maior taxa de acerto de solicitação em configurações zero-shot, mas teve menor precisão final que o gpt-5.1 e o Gemma-4. Inversamente, o Gemma-4 alcançou a maior precisão final zero-shot sem atingir as maiores métricas de solicitação.
2. Modos de Falha:
   • Falhas de Aquisição: Modelos frequentemente falham em identificar o slot específico ausente ou perguntam de forma muito vaga, levando a recusas repetidas.
   • Falhas de Integração: Modelos mais fortes frequentemente adquirem a dica canônica com sucesso, mas falham na aritmética exata subsequente, reconstrução simbólica ou normalização de resposta.
3. Efeitos de Prompting: O prompting de quatro disparos (four-shot, fornecendo exemplos de solicitações mínimas) não melhorou o desempenho uniformemente. Nas famílias do Tipo B, onde o slot ausente varia, os exemplos de poucos disparos (few-shot) às vezes induziram o "ancoramento de exemplar", fazendo com que os modelos imitassem as formas de solicitação demonstradas em vez de se adaptarem ao slot ausente específico, potencialmente degradando o desempenho.
4. Tipo A vs. Tipo B: As famílias do Tipo B (slots variáveis) não foram uniformemente mais difíceis em termos de precisão final; modelos fortes frequentemente performaram melhor no Tipo B do que no Tipo A. No entanto, as famílias do Tipo A continham tarefas onde a solicitação era fácil, mas a computação subsequente era frágil (ex: reconstrução exata de resto chinês).

Significância e Alegações

O artigo posiciona o MIRA-Math não como um substituto para os benchmarks matemáticos de informação completa, mas como uma ferramenta de diagnóstico para expor estruturas ocultas e lacunas de avaliação. Sua principal significância reside em:

• Isolar um Gargalo Específico: Ele mede explicitamente a capacidade de reconhecer problemas subdeterminados, identificar o fato atômico ausente e solicitá-lo com precisão, separando isso da habilidade de computar a resposta final.
• Design Centrado em Dados: Seguindo as tendências recentes de design de conjuntos de dados responsáveis, o lançamento prioriza a reprodutibilidade ao fornecer geradores, verificadores e logs brutos, permitindo que a comunidade audite o pipeline "solicitação-para-resolução" em vez de depender apenas de precisão agregada.
• Refinamento de Avaliação: Os resultados demonstram que o desempenho de um modelo em benchmarks matemáticos padrão não implica necessariamente competência em aquisição de informação. Um modelo pode ser forte em matemática, mas falhar no MIRA-Math se não conseguir identificar o que está faltando, ou pode ser bom em perguntar, mas falhar na matemática.

Os autores concluem que o MIRA-Math serve como uma suíte de base para futuros modelos e uma ferramenta de análise para estudar quando modelos de linguagem solicitam informações matemáticas ausentes em vez de apenas adivinhar, sem alegar medir colaboração aberta, comunicação humana ou tomada de decisão do mundo real.