📊 statistics

TCARD: Nearly Balanced Two-Level Designs with Treatment Cardinality Constraints with an Application to LLM Prompt Engineering

Este artigo apresenta o TCARD, uma estrutura para a construção de projetos experimentais de dois níveis quase balanceados sob restrições de cardinalidade de tratamentos, propondo um critério de Desvio de Concurrence Balanceado livre de modelos e um algoritmo eficiente de troca de coordenadas para otimizar projetos para aplicações como engenharia de prompts de LLM.

Autores originais: Kexin Xie, Ryan Lekivetz, Xinwei Deng

Publicado 2026-05-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kexin Xie, Ryan Lekivetz, Xinwei Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar o novo prato perfeito. Você tem um armário cheio de 15 ingredientes diferentes (fatores), mas seu cartão de receita tem espaço apenas para exatamente 3 ingredientes por prato (a Restrição de Cardinalidade do Tratamento). Você quer testar o maior número possível de combinações para descobrir quais ingredientes fazem a comida ter um sabor incrível e quais a estragam.

O problema? Se você apenas escolher combinações aleatórias, pode acabar testando "Sal, Sal, Sal" três vezes e nunca testar "Sal, Pimenta, Manjericão". Ou, pode testar "Sal e Pimenta" juntos tão frequentemente que não consegue dizer se o bom sabor vem do sal, da pimenta ou da magia de estarem juntos.

Este artigo, intitulado "TCARD", trata de criar uma receita matemática inteligente para esses experimentos. Ele garante que cada ingrediente tenha uma vez justa no holofote e que cada par de ingredientes seja testado juntos exatamente a quantidade certa de vezes.

Aqui está uma análise de sua abordagem usando analogias simples:

1. O Problema: A Regra dos "Três Ingredientes"

Em muitos testes do mundo real — como ajustar um programa de computador, testar combinações de medicamentos ou até mesmo escrever prompts para uma IA (como a usada neste artigo) — você não pode usar tudo de uma vez.

A Restrição: Você deve escolher exatamente $k$ itens entre $p$ opções disponíveis para cada execução de teste.
O Risco: Se não for cuidadoso, seus dados ficam bagunçados. Você pode testar em excesso alguns ingredientes e testar de menos outros, tornando impossível saber o que realmente funciona.

2. A Solução: Designs "Quase Balanceados"

Os autores perceberam que a solução matemática perfeita (onde cada ingrediente é usado exatamente o mesmo número de vezes e cada par se encontra exatamente o mesmo número de vezes) frequentemente não existe para números do mundo real. É como tentar dividir 7 biscoitos entre 3 amigos perfeitamente igualmente — você não consegue fazer isso sem quebrar um biscoito.

Então, eles inventaram designs "Quase Balanceados".

A Analogia: Imagine que você está acomodando convidados em uma mesa redonda. Você quer que todos se sentem ao lado de cada outro convidado exatamente uma vez. Se não puder fazer isso perfeitamente, vise um assento "quase balanceado" onde todos se sentam ao lado de todos os outros quase o mesmo número de vezes.
O Objetivo: Minimizar o "agrupamento" (alguns pares se encontrando com muita frequência) e a "solidão" (alguns ingredientes nunca se encontrando).

3. A Nova Ferramenta: A Pontuação "Desvio de Concurrence Balanceada" (BCD)

Para construir esses designs, os autores criaram um sistema de pontuação chamado $\Phi_{BCD}$ . Pense nisso como um "Medidor de Justiça" para seu experimento.

Dois Botões: O medidor tem dois botões.
1. Equilíbrio de Replicação: Cada ingrediente é usado aproximadamente o mesmo número de vezes?
2. Equilíbrio de Concurrence: Cada par de ingredientes se encontra aproximadamente o mesmo número de vezes?
A Magia: Os autores provaram que, se você minimizar essa pontuação, automaticamente obterá um design estatisticamente poderoso. É como sintonizar um rádio na estação mais clara; uma vez que você acerta o ponto certo, o estático (ruído) desaparece e o sinal (verdade) vem com clareza.

4. O Algoritmo: A Estratégia de "Troca"

Como encontrar esse design perfeito? Você não pode apenas adivinhar. Os autores construíram um algoritmo de computador (um método de Troca de Coordenadas) que funciona como um jogo de cadeiras musicais.

O Processo: Começa com uma lista aleatória de combinações de 3 ingredientes. Então, olha para uma linha (um teste) e pergunta: "Se eu trocar o Ingrediente A pelo Ingrediente B aqui, meu Medidor de Justiça melhora?"
Velocidade: Isso é feito incrivelmente rápido, trocando ingredientes ao redor até encontrar o arranjo mais balanceado possível.

5. O "Segredo": Ajustar os Pesos

O Medidor de Justiça tem dois botões. Às vezes você se importa mais em garantir que cada ingrediente seja usado igualmente (Replicação). Às vezes você se importa mais com a frequência com que os pares se encontram (Concurrence).

A Inovação: Em vez de adivinhar qual botão girar, os autores sugerem um ajuste baseado em simulação. Antes de executar o experimento real, você executa uma "corrida de prática" em um computador. Você finge ser a IA ou o cientista, vê que tipo de resultados você quer encontrar e, em seguida, ajusta os botões para corresponder a esse objetivo.
Por que importa: Isso garante que o experimento seja construído especificamente para responder à pergunta que você realmente se importa, em vez de ser apenas "matematicamente bonito".

6. O Teste do Mundo Real: O Chef IA

Para provar que funciona, os autores testaram isso em Modelos de Linguagem de Grande Escala (LLMs) — os cérebros por trás de chatbots como o com quem você está falando.

A Configuração: Eles queriam descobrir quais "componentes de prompt" (como "Pense passo a passo" ou "Atue como um especialista") realmente ajudam a IA a resolver problemas de matemática. Eles tinham 15 componentes possíveis, mas só podiam usar 3 de cada vez.
O Resultado:
- O método TCARD (a receita inteligente e balanceada) encontrou os melhores ingredientes e identificou quais prejudicavam o desempenho da IA.
- Receitas aleatórias (apenas adivinhando combinações) ou receitas gananciosas (tentando ser simples) falharam. Elas ou não conseguiam distinguir a diferença entre ingredientes bons e ruins ou davam resultados enganosos.
- Especificamente, o método TCARD identificou corretamente que "Atuar como um matemático" ajudou, enquanto "Usar fórmulas algébricas" na verdade confundiu a IA nesses problemas matemáticos específicos.

Resumo

Este artigo nos dá uma nova e mais inteligente maneira de realizar experimentos quando estamos limitados quanto ao número de coisas que podemos testar de uma só vez.

Antigo jeito: Adivinhar e verificar, ou usar regras rígidas que não se encaixam na vida real.
Novo jeito (TCARD): Usar um "Medidor de Justiça" para equilibrar o experimento, trocar ingredientes ao redor até ficar perfeito e ajustar as configurações com base no que você espera aprender.

É a diferença entre jogar dardos de olhos vendados e usar um sistema guiado a laser para acertar o alvo, garantindo que cada pedaço de dado que você coletar realmente lhe diga algo verdadeiro.

Resumo Técnico: TCARD: Projetos de Dois Níveis Quase Balanceados com Restrições de Cardinalidade de Tratamento

Declaração do Problema
O planejamento experimental moderno frequentemente encontra a restrição de cardinalidade de tratamento (TCARD), onde cada execução experimental é restrita a ativar exatamente $k$ fatores entre $p$ fatores disponíveis. Essa restrição surge em diversas áreas, incluindo agendamento de sensores, experimentos com feature flags, triagem de drogas de alto rendimento e, cada vez mais, na engenharia de prompts para Modelos de Linguagem de Grande Escala (LLMs). Sob TCARD, a matriz de projeto $X \in \{0, 1\}^{n \times p}$ possui somas de linhas fixas iguais a $k$ .

Essa restrição cria desafios estatísticos e algébricos significativos:

Singularidade Estrutural: Somas de linhas fixas induzem dependências lineares entre as colunas, tornando a matriz de informação singular ou quase singular após a remoção do intercepto.
Impossibilidade de Projetos Clássicos: Projetos fatoriais completos ou fracionários são impossíveis. Embora Projetos em Blocos Incompletos Balanceados (PBIBs) ofereçam uma referência natural para equilibrar repetições de fatores e co-ocorrências em pares, PBIBs exatos não existem para muitas combinações práticas $(n, p, k)$ .
Falta de Critérios de Otimalidade: Critérios existentes (por exemplo, maximin baseado em distância, otimalidade $A/D/E$ padrão) não foram projetados para restrições de soma de linhas. Frequentemente, eles falham em controlar as quantidades estruturais específicas que governam a qualidade da projeção sob TCARD: equilíbrio de repetição de fatores e equilíbrio de concorrencia em pares. Além disso, critérios compostos existentes carecem de orientação principista sobre como ponderar esses objetivos concorrentes em relação a tarefas subsequentes.

Metodologia
O artigo propõe um framework unificado para a construção e análise de TCARDs de dois níveis, organizado em torno de uma perspectiva de "apenas contagens".

Fundamentos Algébricos e Definição de "Quase Balanceado":
- Os autores estabelecem uma correspondência entre TCARDs e PBIBs, provando que um TCARD é totalmente balanceado se e somente se sua estrutura de suporte formar um PBIB.
- Como PBIBs exatos são frequentemente indisponíveis, eles formalizam o conceito de TCARDs quase balanceados. Um projeto é quase balanceado se:
  - (NB1) As repetições de fatores $r_j$ diferem por no máximo um (ou seja, $r_j \in \{\lfloor \bar{r} \rfloor, \lceil \bar{r} \rceil\}$ ).
  - (NB2) As concorrencias em pares $\lambda_{j\ell}$ são o mais uniformes que a aritmética permite, dados os níveis de repetição.
- Resultados teóricos (Teoremas 1 e 2) mostram que TCARDs quase balanceados minimizam os dois primeiros componentes do Padrão Generalizado de Comprimento de Palavra ( $B_1$ e $B_2$ ), que medem desequilíbrios de projeção.
O Critério de Desvio de Concorrência Balanceada ( $\Phi_{BCD}$ ):
- Para construir projetos sem resolver problemas de viabilidade inteira intratáveis, os autores introduzem uma função objetivo livre de modelo e de valor real:
  $\Phi_{BCD}(X) = w_1 \frac{V_1(X)}{p} + w_2 \frac{V_2(X)}{\binom{p}{2}}$
  onde $V_1$ é o desvio quadrático das repetições em relação à média, e $V_2$ é o desvio quadrático das concorrencias em pares em relação à média.
- Justificativa Estatística: O artigo prova que minimizar $\Phi_{BCD}$ $Φ_{B C D}$ alinha-se com vários princípios clássicos de otimalidade:
  - Satisfaz o princípio de (M, S)-otimalidade (maximizar a informação total, depois minimizar a dispersão dos autovalores) sob modelos de efeitos principais.
  - É algebricamente equivalente ao critério $UE(s^2)$ centrado (Jones e Majumdar, 2014) sob condições específicas de peso.
  - Fornece um limite de perturbação para a otimalidade D Bayesiana, ligando a penalidade baseada em contagens à lacuna de eficiência em relação a um projeto balanceado ideal.
Construção Algorítmica:
- Um algoritmo de Troca de Coordenadas (CE) é desenvolvido que respeita a restrição de soma de linhas realizando trocas dentro da linha (trocar um fator ativo por um inativo).
- O algoritmo utiliza atualizações incrementais eficientes de $O(k)$ para avaliar mudanças em $\Phi_{BCD}$ , tornando-o escalável.
- Ajuste de Pesos Baseado em Simulação: Reconhecendo que os pesos $(w_1, w_2)$ controlam o trade-off entre o equilíbrio de repetição e o de concorrência, os autores propõem um procedimento de ajuste offline. Usando um plano de simulação que imita a tarefa subsequente pretendida (por exemplo, seleção de subespaço esparsa), o peso $w_1$ é calibrado para maximizar uma métrica de desempenho (por exemplo, pontuação F1) antes que qualquer dado real seja coletado.

Resultados Chave

Teórico: O artigo estabelece que TCARDs quase balanceados são ótimos para minimizar desequilíbrios de projeção de baixa ordem ( $B_1, B_2$ ) e fornece condições necessárias para sua existência por meio de sequências de graus da teoria dos grafos.
Simulação Numérica: Em uma faixa de tamanhos de problema ( $p \in \{20, \dots, 80\}$ $p \in {20, \dots, 80}$ ) e forças de restrição ( $k/p \in \{0.1, 0.25, 0.5\}$ $k / p \in {0.1, 0.25, 0.5}$ ), o critério $\Phi_{BCD}$ $Φ_{B C D}$ proposto (com pesos padrão $w_1=w_2=1$ $w_{1} = w_{2} = 1$ ) consistentemente supera ou iguala alternativas existentes (incluindo $UE(s^2)$ $U E (s^{2})$ , critérios baseados em distância e heurísticas gananciosas) em termos de:
- Equilíbrio: Alcançando equilíbrio de repetição quase perfeito e regularidade de concorrência superior.
- Qualidade de Projeção: Produzindo maiores log-determinantes médios de matrizes de informação projetadas.
- Desempenho Subsequente: Em simulações de triagem esparsa, projetos otimizados com $\Phi_{BCD}$ (especialmente quando os pesos são ajustados ao nível de esparsidade alvo $q$ ) alcançam maiores pontuações F1, precisão e recall em comparação com critérios não ajustados ou de componente único.
Estudo de Caso (Engenharia de Prompts de LLM):
- Aplicado à triagem de 15 componentes de prompt para um modelo Llama 3.1 8B no benchmark de raciocínio matemático GSM8K com um orçamento de 21 execuções ( $k=3$ ).
- Descobertas: Os projetos $\Phi_{BCD}$ ajustados (calibrados para diferentes níveis de esparsidade assumida $q \in \{3, 4, 5\}$ ) identificaram efeitos principais significativamente mais robustos (por exemplo, "Álgebra" e "DrawTable" como prejudiciais; "StepByStep" e "SubProblems" como benéficos) em comparação com concorrentes.
- Validação: Em um conjunto de teste retido, apenas os projetos $\Phi_{BCD}$ ajustados previram com sucesso tanto os componentes prejudiciais (reduzindo a precisão quando adicionados) quanto os componentes benéficos (aumentando a precisão). Métodos concorrentes, incluindo o padrão não ajustado e critérios baseados em distância, falharam em identificar componentes benéficos, resultando frequentemente em ganhos negativos ou nulos.

Significado e Alegações
O artigo afirma fornecer o primeiro framework abrangente para projetos quase balanceados sob restrições estritas de cardinalidade de tratamento. Seu significado reside em três áreas:

Ponte entre Teoria e Prática: Estende a teoria clássica de projetos em blocos quase balanceados (Cheng e Wu, 1981) para o cenário TCARD, fornecendo condições de existência e garantias de otimalidade para uma classe de projetos que anteriormente carecia de uma teoria construtiva.
Otimalidade Livre de Modelo: Introduz $\Phi_{BCD}$ , um critério computacionalmente eficiente e livre de modelo, mas rigorosamente conectado a princípios clássicos de otimalidade estatística (M-S, $UE(s^2)$ , D Bayesiana).
Calibração Consciente da Tarefa: Aborda a lacuna em critérios de projeto compostos propondo um procedimento de ajuste baseado em simulação. Isso permite que o critério de projeto seja alinhado com objetivos inferenciais subsequentes específicos (por exemplo, seleção de variáveis versus previsão) sem exigir conhecimento prévio da superfície de resposta.

Os autores observam modestamente que, embora o framework lide efetivamente com o regime de cardinalidade exata, ele não resolve todos os problemas de falsos positivos ou interações inerentes à triagem. No entanto, oferece uma base robusta e consciente da tarefa para a construção de projetos onde o número de fatores ativos é estritamente limitado, uma restrição cada vez mais comum em aplicações de IA e engenharia.