Resumo Técnico: Socratic-Geo

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) avançaram significamente na compreensão de visão-linguagem, mas permanecem severamente limitados no raciocínio geométrico. Essa limitação decorre da extrema escassez de pares imagem-texto de alta qualidade necessários para o treinamento. As soluções existentes enfrentam trocas críticas:

• Anotação Humana: Proibitivamente cara e demorada.
• Métodos Automatizados: Falham em garantir simultaneamente fidelidade, diversidade e eficácia de treinamento.
  • Aumentação textual baseada em imagem é passiva, refinando descrições para imagens existentes sem criar novas estruturas.
  • Geração aleatória impulsionada por símbolos depende de exploração cega e filtragem heurística, desacoplando a geração das necessidades de aprendizado.
  • Aumentação impulsionada por LLM frequentemente atua como um amplificador de caixa-preta, herdando vieses e carecendo de controle granular sobre estruturas geométricas.
• Paradigmas Estáticos: A maioria das abordagens existentes produz conjuntos de dados unidirecionais onde a síntese é desacoplada do processo de aprendizado do modelo, perdendo oportunidades de melhoria iterativa baseadas nas fraquezas do modelo.

2. Metodologia: Estrutura Socratic-Geo

Os autores propõem o Socratic-Geo, uma estrutura totalmente autônoma e dinâmica que acopla a síntese de dados ao aprendizado do modelo através da interação entre múltiplos agentes. Inspirado no método socrático, o sistema opera como um motor de ciclo fechado impulsionado por três agentes especializados: Professor (Teacher), Solucionador (Solver) e Gerador (Generator).

2.1 O Agente Professor (Construtor Proativo)

O Professor gera scripts Python parametrizados para criar problemas geométricos, empregando um loop de "conceber-e-verificar" para garantir pureza e validade:

• Refletir (Verificador de Solubilidade): Verifica a validade matemática e a solubilidade.
• RePI (Validador Visual): Garante que o diagrama renderizado se alinhe perfeitamente com a descrição textual e os axiomas geométricos.
• Fluxo de Trabalho:
  1. Diagnosticar: Analisa os caminhos de falha do Solucionador para identificar fraquezas específicas de raciocínio (ex: axiomas ausentes, inconsistências semânticas).
  2. Inventar: Modifica programaticamente o código Python subjacente para construir um novo problema que vise explicitamente essas fraquezas.
  3. Qualificar: Autoverifica o novo problema resolvendo-o; apenas tripletos validados são admitidos ao currículo.

2.2 O Agente Solucionador (Aprendizado por Reforço)

O Solucionador evolui via Otimização de Política Relativa de Grupo (GRPO), um algoritmo de aprendizado por reforço projetado para tarefas com recompensas verificáveis.

• Paradigma de Treinamento: O Solucionador aprende exclusivamente através de tentativa e erro. Ele não observa a cadeia de pensamento (chain-of-thought) do Professor ou soluções de referência durante o treinamento.
• Sinal de Recompensa: Recebe sinais de recompensa binários indicando correção. Se todas as $k$ tentativas falharem, o Professor injeta a solução de referência verificada como o único exemplo positivo para guiar a atualização da política.
• Evolução do Currículo: O currículo $C$ cresce iterativamente. Problemas que o Solucionador não consegue resolver acionam o Professor para inventar versões aprimoradas, garantindo que o conjunto de dados se adapte às capacidades evolutivas do Solucionador.

2.3 O Agente Gerador (Subproduto Sinérgico)

O Gerador opera independentemente do loop de raciocínio, mas aproveita os ativos criados pelo Professor.

• Destilação: O Professor traduz suas instruções de desenho programáticas (código Python) em instruções de desenho em linguagem natural ($p_{diagram}$).
• Treinamento: O Gerador, um modelo baseado em difusão, é ajustado finamente em tripletos de alta qualidade (instrução, imagem). Isso destila a inteligência de desenho simbólica e baseada em regras do Professor nos pesos neurais do Gerador, permitindo que ele produza diagramas geometricamente precisos a partir de prompts de texto.

3. Principais Contribuições

1. Síntese Programática Orientada a Objetivos: Um paradigma que estabelece objetivos de geração ao diagnosticar fraquezas do aprendiz e aprimora estruturas de imagem através da modificação de código. Isso é suportado pelo mecanismo Reflect-RePI para autocorreção proativa, garantindo validade matemática e visual.
2. Estrutura de Interação Multi-Agente: O Socratic-Geo acopla estreitamente a síntese com o aprendizado. A interação Professor-Solucionador impulsiona a evolução do raciocínio, enquanto o Gerador estende essa capacidade para a geração de imagens geométricas controláveis a partir de dados programáticos.
3. Alta Eficiência de Dados: A estrutura alcança resultados de estado da arte começando com apenas 108 problemas semente, demonstrando que um currículo iterativo pequeno e de alta qualidade supera conjuntos de dados estáticos de grande escala.

4. Resultados Experimentais

4.1 Desempenho do Solucionador (Raciocínio Geométrico)

Avaliado em seis benchmarks (MathVerse, GeoQA, MathVision, MathVista, WeMath, GeomVerse):

• Desempenho: O Socratic-Solver alcançou uma precisão média geral de 49,11%.
• Comparação: Isso representa um aumento de +4,13 pontos sobre o baseline zero-shot e supera o baseline mais forte (GeoReasoning) em 2,43 pontos.
• Eficiência de Dados: O modelo alcançou esses resultados usando apenas 2,5k amostras de treinamento sintéticas (um quarto dos dados usados por baselines como R-CoT ou GeoReasoning, que usam 7,2k–10k amostras).

4.2 Desempenho do Gerador (Texto-para-Imagem)

Avaliado no benchmark GenExam-Math:

• Desempenho: O Socratic-Generator alcançou uma Pontuação Relaxada de 42,4%.
• Comparação: Isso estabelece um novo estado da arte para modelos de código aberto, superando o Seedream-4.0 (39,8%) e aproximando-se do desempenho do modelo proprietário Gemini-2.5-Flash-Image (43,1%).
• Pontuação Estrita: Alcançou uma Pontuação Estrita de 6,0, superando significativamente o modelo base Qwen-Image (0,0).

4.3 Estudos de Ablação

• Módulo Qualify: A remoção da etapa de verificação levou a uma queda no desempenho (abaixo do baseline zero-shot), confirmando que dados sintéticos não verificados introduzem erros que degradam o aprendizado.
• RL vs. SFT: O treinamento por Aprendizado por Reforço (RL) superou o Ajuste Fino Supervisionado (SFT) em 1,74% em dados idênticos, provando que o paradigma de aprendizado por tentativa e erro é superior ao aprendizado por imitação para esta tarefa.
• Capacidade do Professor: Os ganhos de desempenho foram impulsionados principalmente pelo acesso do Professor aos logs de falha e ao código do Solucionador ("privilégio de informação") em vez da capacidade bruta do modelo; mesmo um Professor de 3 bilhões de parâmetros superou baselines treinados em 10k amostras.

5. Significância e Alegações

O artigo afirma que o Socratic-Geo aborda o gargalo crítico da escassez de dados geométricos ao mudar de uma geração de dados estática e unidirecional para um loop fechado dinâmico de síntese-aprendizado.

• Motor de Autoaperfeiçoamento: A estrutura demonstra que um sistema pode expandir um currículo altamente informativo a partir de um conjunto semente mínimo, identificando e abordando continuamente as fraquezas de raciocínio.
• Dupla Eficácia: Ele une com sucesso a melhoria das capacidades de raciocínio (Solucionador) com a geração de conteúdo visual de alta fidelidade (Gerador), provando que o controle programático pode preencher a lacuna entre a lógica simbólica e a representação visual.
• Escalabilidade: Os autores postulam que este motor de dados escalável e autoaperfeiçoável pode ser estendido para outros domínios STEM além da geometria, oferecendo um caminho para superar as limitações de dados em tarefas de raciocínio multimodal complexas.