RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão cada vez mais encarregados de resolver problemas complexos que exigem a recuperação e composição de múltiplas peças de informação em contexto (por exemplo, analisar demonstrações financeiras ou seguir instruções de múltiplos passos). No entanto, avaliar essas capacidades é difícil porque:

• Falta de Verificabilidade: Tarefas do mundo real frequentemente carecem de verdade fundamental (ground truth) ou métricas precisas.
• Complexidade Incontrolável: É difícil escalar sistematicamente a dificuldade da tarefa para observar como o desempenho do modelo se degrada.
• Contaminação de Dados: Benchmarks estáticos frequentemente sofrem porque os modelos viram exemplos semelhantes durante o pré-treinamento.

Os autores propõem que os modelos atuais falham em escalar seu poder de computação de inferência (esforço de raciocínio) adequadamente à medida que a complexidade da tarefa aumenta, recorrendo frequentemente ao "pedido silencioso" (quiet quitting) — mudando de raciocínio algorítmico válido para palpites ou heurísticas superficiais quando as tarefas se tornam difíceis.

2. Metodologia: O Framework RELIC

Os autores introduzem o RELIC (Reconhecimento de Linguagens em Contexto), um framework projetado para avaliar LLMs no reconhecimento de Linguagens Livres de Contexto (CFL).

• Definição da Tarefa: Um LLM é apresentado a uma Gramática Livre de Contexto (CFG) específica e a uma string. O modelo deve determinar se a string pertence à linguagem gerada por aquela gramática (Aceitar/Rejeitar).
• Geração de Benchmark Sintético (RELIC-500):
  • Para garantir novidade e prevenir contaminação de dados, as gramáticas são geradas estocasticamente em vez de serem retiradas de um conjunto de dados fixo.
  • As gramáticas são parametrizadas por quatro valores: número de símbolos terminais ($n'_{term}$), símbolos não terminais ($n'_{nonterm}$), regras léxicas ($n'_{lex}$) e regras não léxicas ($n'_{nonlex}$).
  • O benchmark inclui 200 gramáticas com parâmetros até 500, gerando strings positivas (válidas) e negativas (inválidas) com comprimentos até 50.
• Base Teórica:
  • O reconhecimento de CFL é conhecido por estar na classe de complexidade AC1 e ser NC1-difícil.
  • A análise teórica sugere que, para um Transformer resolver isso, o comprimento de sua Cadeia de Pensamento (CoT) deve crescer superlinearmente com o comprimento da string e linearmente com o tamanho da gramática.
  • Isso fornece um "orçamento" de computação ideal teórico contra o qual o comportamento real do modelo pode ser comparado.

3. Configuração Experimental

• Modelos Avaliados: Oito LLMs foram testados, incluindo:
  • Proprietários: Família gpt-4.1 da OpenAI (nano, mini, full), o3 e o4-mini.
  • Open-Weight: Gemma 3 do Google (1B e 4B) e uma versão destilada do DeepSeek-R1.
• Protocolo de Avaliação: Prompting zero-shot. Os modelos foram solicitados a classificar strings baseados apenas nas regras de gramática fornecidas, sem exemplos few-shot.
• Métricas de Análise:
  • Acurácia balanceada por classe e pontuações Macro F1.
  • Correlação entre desempenho e complexidade da gramática (tamanho) e comprimento da string.
  • Computação em Tempo de Teste (TTC): Medição do número de tokens gerados durante o raciocínio em relação à dificuldade da tarefa.
  • Classificação de Estratégia: Usando um LLM como juiz (e validação humana) para categorizar traços de raciocínio como Baseados em Regras (derivação válida) ou Heurísticos/Palpite.

4. Resultados Chave

A. Degradação de Desempenho com Complexidade

• Tarefas Pequenas vs. Grandes: Os modelos performam razoavelmente bem em gramáticas pequenas e strings curtas. No entanto, o desempenho cai precipitadamente à medida que o tamanho da gramática (especificamente produções não léxicas) e o comprimento da string aumentam.
• Desempenho ao Acaso: Mesmo os modelos de raciocínio mais avançados (por exemplo, o3, o4-mini) caem para uma acurácia próxima ao acaso (aprox. 50%) em gramáticas com ~500 regras, apesar de estas serem ordens de magnitude menores que gramáticas para linguagens de programação reais.
• Viés: Os modelos exibem fortes vieses de classe (por exemplo, prever "Sim" para strings longas e "Não" para curtas) em vez de analisar as regras da gramática.

B. O Fenômeno do "Pedido Silencioso" (Quiet Quitting)

• Incompatibilidade de Computação: Teoricamente, resolver instâncias mais difíceis requer mais computação (CoT mais longo). Empiricamente, os modelos reduzem seu gasto de computação à medida que as tarefas ficam mais difíceis.
  • A Computação Relativa em Tempo de Teste (TTC) atinge o pico cedo (em comprimentos de string muito curtos) e depois diminui à medida que o comprimento da string aumenta.
  • Os modelos param de aumentar o esforço de inferência muito antes de atingir seus limites de tokens.
• Mudança de Estratégia: À medida que a complexidade aumenta, os modelos mudam de estratégias Baseadas em Regras (construção de árvores de análise) para estratégias Heurísticas (palpites baseados no comprimento da string ou presença de símbolos).
• Modelos de Raciocínio Fechado: Mesmo modelos que ocultam seus traços de raciocínio (o3, o4-mini) mostram a mesma queda no gasto de computação, implicando que eles também estão fazendo "pedido silencioso" ao mudar internamente para estratégias inválidas.

C. Limitações do Ajuste Fino (Fine-Tuning)

• Os autores ajustaram finamente os modelos Gemma 3 diretamente na tarefa RELIC (pares gramática-string-rótulo).
• Resultado: O ajuste fino forneceu nenhuma melhoria estatisticamente significativa no desempenho. Isso sugere que a falha não é devido à falta de familiaridade com a tarefa, mas a uma incapacidade fundamental de executar as estratégias de raciocínio necessárias em escala.

D. Correlação com Raciocínio Geral

• O desempenho no RELIC correlaciona-se com o desempenho em benchmarks de raciocínio geral (MMLU Pro, GPQA, IFEval). Isso indica que o RELIC é um proxy válido para capacidades gerais de raciocínio complexo, não apenas uma tarefa de linguagem formal de nicho.

5. Contribuições Chave

1. Framework RELIC: Um benchmark escalável, verificável e resistente à contaminação para avaliar raciocínio complexo em contexto usando teoria de linguagens formais.
2. Evidência Empírica de "Pedido Silencioso": Demonstra que modelos de raciocínio state-of-the-art falham em escalar seus recursos de computação em proporção à dificuldade da tarefa, revertendo para heurísticas.
3. Análise de Estratégia: Quantifica a mudança do raciocínio algorítmico para palpites como função da complexidade, revelando uma fragilidade nos atuais modelos de "raciocínio".
4. Lacuna Teórico-Prática: Destaca a desconexão entre os requisitos de complexidade teórica para reconhecimento de CFL (que os Transformers poderiam teoricamente atender) e o comportamento empírico dos LLMs atuais.

6. Significado e Implicações

• Fragilidade do Raciocínio: As descobertas desafiam a noção de que modelos de "raciocínio" (como o3 ou o4-mini) possuem capacidades de raciocínio robustas e escaláveis. Eles parecem depender de heurísticas que se quebram sob complexidade.
• Paradigma de Avaliação: O RELIC oferece uma maneira de avaliar o raciocínio "oculto" em modelos proprietários observando seu comportamento de computação (uso de tokens) em vez de apenas a saída final.
• Direções Futuras: O artigo sugere que simplesmente aumentar o tamanho do modelo ou os dados de treinamento é insuficiente. Melhorias futuras podem exigir:
  • Treinamento em conclusões estruturadas (derivações guiadas).
  • Orientação explícita sobre estratégias de raciocínio.
  • Mecanismos para forçar os modelos a manter estratégias de raciocínio válidas mesmo quando as tarefas se tornam difíceis, prevenindo o comportamento de "pedido silencioso".

Em resumo, o artigo argumenta que os LLMs atuais não estão verdadeiramente "raciocinando" de forma escalável e algorítmica quando confrontados com tarefas complexas e novas em contexto; em vez disso, eles otimizam um atalho que falha à medida que a complexidade do problema cresce.